Веб-сайттағы деректерді скраптау бойынша Semalt сарапшысы - жақсы және жаман боттар

Веб-браузинг ұзақ уақыт бойы болды және веб-шеберлерге, журналистерге, фрилансерлерге, бағдарламашыларға, бағдарламалаушыларға, маркетингтік зерттеушілерге, ғалымдар мен әлеуметтік медиа сарапшыларына пайдалы деп саналады. Боттардың екі түрі бар: жақсы боттар және жаман боттар. Жақсы боттар іздеу жүйелеріне веб-мазмұнды индекстеуге мүмкіндік береді және нарық сарапшылары мен цифрлық маркетологтар тарапынан үлкен артықшылыққа ие. Жаман боттар, керісінше, пайдасыз және сайттың іздеу жүйесінің рейтингісіне нұқсан келтіруді көздейді. Веб-қырғыштың заңдылығы сіз қолданған боттардың қандай түріне байланысты.

Мысалы, егер сіз мазмұнды әртүрлі веб-беттерден оны заңсыз пайдалану мақсатында алатын жаман боттарды қолдансаңыз, веб-қырғыш зиян келтіруі мүмкін. Егер сіз жақсы боттарды пайдаланып, зиянды әрекеттерден аулақ болсаңыз, соның ішінде сервистік шабуылдардан бас тарту, желідегі алаяқтық, бәсекелес деректерді табу стратегиясы, деректерді ұрлау, тіркелу ұрлануы, осалдықты заңсыз іздеу, сандық жарнамалық алаяқтық және зияткерлік қасиеттерді ұрлау, содан кейін веб-скрепинг процедурасы интернетте сіздің бизнесіңіздің өсуіне пайдалы және пайдалы.

Өкінішке орай, фрилансерлер мен стартаптардың көпшілігі жаман боттарды жақсы көреді, өйткені олар серіктестікті қажет етпестен деректерді жинаудың арзан, қуатты және жан-жақты тәсілі болып табылады. Ірі компаниялар заңды веб-скреперлерді өздерінің пайдасы үшін пайдаланады және Интернеттегі беделін заңсыз веб-скреперлермен бұзғысы келмейді. Веб-скрепингтің заңдылығы туралы жалпы пікірлер маңызды емес сияқты, өйткені соңғы бірнеше ай ішінде федералды сот жүйелері веб-скрепингтің заңсыз стратегияларын күшейтіп жатқаны белгілі болды.

Веб-қыстырма заңсыз процесс ретінде 2000 жылы басталды, сол кезде боттар мен өрмекшілерді веб-сайттарды жырту үшін пайдалану нонсенс деп саналды. Бұл процедураны 2010 жылға дейін Интернетте таралуын тоқтату үшін көптеген тәжірибелер қабылданбаған. EBay компаниясы алдымен сайтта боттарды пайдалану Chattels заңын бұзған деп мәлімдеп, сатушының Edge-ге қарсы алдын-ала жазаны шығарды. Көп ұзамай сот бұйрық шығарды, өйткені қолданушылар сайттың шарттары мен шарттарын келісуге мәжбүр болды және көптеген боттар өшірілді, өйткені олар eBay компьютерлік машиналарына зиян келтіруі мүмкін. Сот ісі көп ұзамай соттан тыс шешілді және eBay бәріне жақсы немесе жаман болуына қарамай веб-қыстырма үшін боттарды қолдануға тыйым салды.

2001 жылы туристік агенттік зиянды өрмекшілер мен жаман боттар көмегімен веб-сайттағы мазмұнды жоятын бәсекелестерді сотқа берді. Судьялар қайтадан қылмысқа қарсы шаралар қолданып, жәбірленушілерге қолдау көрсетті, бұл веб-қайрау да, боттарды қолдану да әр түрлі интернет-бизнеске зиян тигізуі мүмкін.

Қазіргі уақытта академиялық, жеке және ақпараттық жинақтау үшін көптеген адамдар веб-скрепингтің әділ рәсімдеріне сүйенеді, және осыған байланысты көптеген веб-қырғыштар жасалды. Енді шенеуніктер бұл құралдардың барлығы бірдей сенімді емес, бірақ ақылы немесе сыйлықақы нұсқалардағы құралдар ақысыз веб-скреперлерге қарағанда жақсы деп айтады.

2016 жылы Конгресс зиянды боттарға бағытталған және жақсы боттарды қолдайтын алғашқы заң қабылдады. Интернет-билеттерді сатудың жақсырақ заңы (BOTS) құрылды, ол веб-сайттарды мақсатты түрде іздейтін, олардың іздеу жүйелерінің қатарына нұқсан келтіріп, бизнестерін бұзатын заңсыз бағдарламалық жасақтаманы пайдалануға тыйым салады. Әділдік мәселелері бар. Мысалы, LinkedIn жаман боттарды бұғаттайтын немесе жоятын және жақсы боттарды ынталандыратын құралдарға көп ақша жұмсады. Соттар веб-скрепингтің заңдылығын шешуге тырысып жатқандықтан, компаниялар өздерінің деректерін ұрлап жатыр.

mass gmail