صفحه اصلی / بلاگ / آموزش ساخت اسکریپت پروکسی کراولر با پایتون

آموزش ساخت اسکریپت پروکسی کراولر با پایتون

اگر شما هم به انجام دادن کارهای خودتون تو محیط های کامندی علاقه دارید،این مقاله برای شما نوشته شده و تو اون یاد میگریم که چطور میتونیم یه اسکریپت پروکسی کراولر با پایتون بنویسیم،حتما این مقاله رو تا انتها بخونید.

وب اسکریپنگ - پایتون - کافه آموزش

سلام خدمت شما دوستان عزیز تو این مقاله از وبسایت کافه آموزش میخوایم یاد بگیریم که چطور اسکریپت پروکسی کراولر با پایتون بسازیم ، یه مقاله جذاب و خیلی کاربردی که از داخل همین اسکریپت میتونید خیلی چیزها رو یاد بگیرید و در جاهای دیگه از اونها استفاده کنید.

وب اسکرپینگ با پایتون
وب اسکرپینگ با پایتون

در مرحله اول باید کتابخانه های پایتونی مورد نیازی که تو این پروژه از اونها استفاده میکنیم و نصب کنید،کتابخونه هایی که ما میخوایم از اونها استفاده کنیم BeautifulSoup و Request هست که به راحتی و با دستور pip میتونید اونها رو نصب کنید:

pip install bs4

pip install Requests

بعد از نصب کتابخونه های مورد نیاز به کمک دستور import اونها رو وارد پروژه خودمون میکنیم تا بتونیم از اونها استفاده کنیم:

from bs4 import BeautifulSoup

import Requests

بعد از نصب و ایمپورت کردن کتابخونه ها باید بریم سراغ کدهای اصلی برنامه،یه توضیح کلی راجع نحوه کار برنامه بدم،تو این آموزش ما از وبسایت SslProxies استفاده میکنیم،اول از همه ما میایم با کتابخونه Bs4 یک دستور به سمت اون وبسایت ارسال میکنیم و کدهای صفحه اصلی اون رو داخل یه متغیر ذخیره میکنیم که در مراحل بعدی به کمک دستوراتی که برای وب اسکریپنگ استفاده میشه میایم پروکسی ها رو از اون بیرون میشیم..

و در نهایت میایم لیست پروکسی ها رو در خروجی چاپ میکنیم،توجه کنید که در حال حاضر این وبسایت فیلتر هستش و باید از یک فیلتر شکن استفاده کنید،سورس برنامه رو میتونید در باکس زیر مشاهده کنید:

from bs4 import BeautifulSoup
import requests

def crawl():
proxies = []link = “https://www.sslproxies.org/”

r = requests.get(link)
s = BeautifulSoup(r.text,”html.parser”)
for i in s.find_all(“tr”)[:30]:
try:
data = i .find_all(“td”)
address = data[0].text
port = data[1].text
type = data[4].textprox = address+”:”+port
proxies.append({“https”:proxy})
except:
pass
return proxies

proxies = crawl()
print(proxies)

 

سورس اسکریپت پروکسی کراولر با پایتون

اگر شما هم به مباحث جذاب وب اسکرپینگ و داده کاوی علاقه مند هستید میتونید از لینک زیر استفاده کنید و این مقوله رو یاد بگیرید:

آموزش وب اسکریپنگ با پایتون

امیدوارم از مقاله ساخت اسکریپت پروکسی کراولر با پایتون لذت برده باشید و به خوبی از اون استفاده کنید از دیگر مقالات وبسایت ما یعنی کافه آموزش،نیز بازدید کنید.

نویسنده: ابوالفضل شیخیانی


نظرات:

دیدگاه شما

نام

ایمیل ( اختیاری )

سایت( اختیاری )

پیشنهاد ویژه برای شما:

آموزش راه اندازی کسب  و کار اینترنتی رایگان

آموزش راه اندازی کسب و کار اینترنتی (بدون سرمایه اولیه)

راه اندازی کسب و کار اینترنتی را به صورت رایگان یاد بگیرید و همین حالا کسب و کار اینترنتی خود را بدون سرمایه اولیه راه اندازی کنید و به درآمد عالی برسید

19000 تومان رایگان

دانلود
Cart Item Removed. Undo
  • No products in the cart.