Semalt: نحوه استفاده از افزونه Chrome Scrapper Web

مقدار زیادی از داده ها از طریق شبکه وجود دارد. تلاش برای کپی کردن داده ها در یک پایگاه داده قابل استفاده به طور مستقیم در خارج از یک سایت می تواند یک فرآیند پر تلاش باشد. بنابراین ، استفاده از یک روش scraping وب برای استخراج داده ها از وب سایت ها می تواند موجب صرفه جویی در وقت ، انرژی و هزینه شما شود.

ضبط وب ، همچنین با عنوان Web Data Extraction یا برداشت وب ، فرایندی است برای استفاده از رباتها برای استخراج داده از سایتها. مرورگرهای وب در یک سایت حرکت می کنند ، محتوای آن را ارزیابی می کنند و سپس آن را در صفحه گسترده یا بانک اطلاعاتی می کشند و قرار می دهند.

تعداد زیادی ابزار scraping وب در بازار موجود است ، اما آنها بسیار گران هستند و استفاده از آن برای افراد زرنگ و دانا غیرتکنولوژی بسیار آسان است. با این حال ، Web Scraper Chrome Extension رایگان و قابل استفاده است. با استفاده از این پسوند ، حتی می توانید روند کار را در وسط کار خود متوقف کنید.

می توانید نرم افزار Web Scraper Chrome Extension را از فروشگاه وب Google Chrome بارگیری کنید. تنها نکته منفی این است که شما باید سایت را به صورت دستی خراش دهید و این یک روند ساده نیست. همچنین ، شما نمی توانید scraping را در فواصل منظم به طور برنامه ای انجام دهید.

نصب وب افزودنی Chrome Scraper

  • مرورگر Google Chrome را باز کنید؛
  • به فروشگاه وب Chrome رفته و جستجوی برنامه افزودنی وب Scraper را جستجو کنید.
  • ابزار را به Chrome اضافه کنید.
  • اکنون آماده شروع به scrap کردن وب سایت ها با استفاده از مرورگر Chrome خود هستید.

پس از نصب اسکرابر ، F12 را فشار دهید تا ابزارهای توسعه دهنده Google Chrome باز شود. از طرف دیگر ، می توانید بر روی صفحه کلیک راست کرده و "inspect element" را انتخاب کنید. پس از باز کردن ابزارهای برنامه نویس ، زبانه ای بنام "Scraper Web" مشاهده خواهید کرد.

اکنون به ما بیاموزید که چگونه از این روش در یک صفحه وب زنده استفاده کنید. بیایید تصور کنیم که می خواهیم وب سایت Awesomegifs را ضبط کنیم و برخی از محتوا و داده ها را از آن استخراج کنیم. سایت را باز کنید اولین چیزی که می بینید چیست؟ تصاویر بارگیری می شوند ، درست است؟

پس از باز کردن یک صفحه وب ، باید URL های تصویر gif را استخراج کنید. این بدان معنی است که شما باید انتخاب کننده CSS را که مطابق با تصاویر است ، شناسایی کنید. این وب سایت تقریباً 130 صفحه با تصاویر دارد. و برای جابجایی بین صفحات ، باید تعداد صفحاتی را تغییر دهید که در حال حاضر 125 است. ساده ترین روش برای انجام این کار ایجاد نقشه جدید و اضافه کردن قسمت Start URL است. به این ترتیب از Web Scraper خواسته می شود URL را به طور مداوم باز کند ، بنابراین مقدار نهایی را در روند افزایش می دهد. این صفحه اول ، صفحه دوم ، صفحه سوم را باز می کند ... تا اینکه به صفحه 125 برسد.

برای شروع فرآیند خراش دادن ، برگه نقشه سایت را باز کرده و روی "خراش" کلیک کنید. ابزار شروع به scrap کردن داده های مورد نیاز خواهد کرد. در صورتی که می خواهید روند خراشیدن را در وسط متوقف کنید ، کافی است Window را ببندید و به برگه نقشه سایت بروید تا داده های استخراج شده را به پرونده CSV صادر کنید.