استخراج دیتای سایت asarbook

در این پروژه به درخواست کارفرما در دو مرحله دیتای سایت asarbook استخراج شد.

1. در مرحله اول تمامی لینک های سایت که دارای تصویر مشخص بودند ذخیره شد تا تمامی لینک های سایت برای همیشه در اختیار کارفرما باشد.
2. سپس تک تک لینک ها طبق ویدئو و با استفاده از سلنیوم مورد بررسی قرار گرفته و تمامی دتیای خروجی به همراه تصاویر محصولات در قالب یک فایل json به کارفرما تحویل داده شد.

این پروژه در مدت زمان سه روز پیاده سازی شده و دارای بخش های دیگری از جمله اپدیت دیتابیس لینک ها و بررسی مجدد قیمت های محصولات و آپدیت آن ها در فایل json میباشد.

در این پروژه باید به نکاتی همچون بررسی عدم تکراری بودن دیتاها دقت زیادی میشد که پس از انجام کامل پروژه این مورد نیز به خوبی بر روی پروژه پیاده سازی شد و کارفرما از خروجی کار رضایت داشتند.

در ادامه نیز پس از استفاده از نرم افزار و به وجود آمدن تغییرات در برخی از بخش های سایت مقصد کارفرما مجددا درخواست ایجاد تغییراتی را در اسکریپت استخراج داشتند که این کار نیز با موفقت انجام شد.

زبان برنامه نویسی استفاده شده در پروژه :

python

تکنولوژی های مورد استفاده در پروژه :

• selenium
• re
• requests
• json
• sqllite3
• multiprocessing