Espert ta ’Semalt Islamabad: L-Top 10 Crawlers u Bots tal-Web l-Aktar Popolari

Hemm żewġ tipi ta 'bots fuq l-internet, li huma msejħa bħala bots tajbin u bots ħżiena. Għandek tieħu miżuri serji kontra l-bots ħżiena billi jistgħu jikkunsmaw il-bandwidth DDN fl-ebda ħin. Barra minn hekk, il-bot negattivi jew ħżiena jisirqu l-kontenut tal-web tiegħek u jieħdu r-riżorsi tas-server. Min-naħa l-oħra, il-bots tajbin (imsejħa wkoll bħala web crawlers) għandhom jiġu ttrattati bir-reqqa billi jgħinu l-indiċi tal-websajt tiegħek fir- riżultati tal-magna tat - tiftix , bħal Bing, Google, u Yahoo.

Michael Brown, espert ewlieni minn Semalt , jassigura li hemm mijiet għal eluf ta 'bots u web crawlers li joħolqu l-internet, iżda dawk li ġejjin huma l-aktar popolari.

1. GoogleBot

Il-Googlebot huwa wieħed mill-aqwa u l-aktar famużi web crawlers sal-lum. Huwa użat ħafna għall-indiċjar tal-kontenut tal-web u artikli għar-riżultati tat-tfittxija tal-Google. L-aħjar karatteristika ta 'Googlebot hija li tipprovdi lill-utenti b'ħafna għodda u għażliet. B'mod iktar speċifiku, Googlebot jgħid lil Google liema paġni għandhom jiġu indiċjati u liema għandhom jitħallew warajhom.

2. Bingbot

Eżatt bħal Googlebot, il-Bingbot huwa web crawler popolari minn Microsoft. Ilha madwar snin u hija maħsuba biex tindika websajts fir-riżultati tat-tfittxija ta 'Bing. Bingbot huwa sostitut ideali għall-bot MSN. L-iktar għażla prominenti tagħha hija msejħa bħala Fetch bħala Bingbot, li hija preżenti fl-Għodda tal-Webmaster ta 'Bing. Din l-għażla iħallik titlob paġni biex jiġu indiċjati u murija fir-riżultati ta 'Bing.

3. Bot Slurp

Il-Bot Slurp huwa l-web crawler ta 'Yahoo iżda huwa mħaddem minn Bing. Il-websajts għandhom iħallu lil Yahoo Slurp jaċċessa l-paġni tagħhom biex jidhru fir-riżultati tat-Tiftix tal-Mowbajl Yahoo. Dan il-web crawler jintuża biex jiġbor kontenut mill-websajts imsieħba għall-inklużjoni fl-Yahoo News, Yahoo Sports u Yahoo Finance.

4. DuckDuckBot

Il-DuckDuckBot huwa l-famuż u l-aqwa web crawler ta 'DuckDuckGo. Din il -magna ta ’riċerka hija magħrufa għall-privatezza tagħha u ma ssegwix utent mingħajr il-permess tiegħu. Bħala medja, hija tieħu ħsieb għaxar miljun mistoqsija kuljum. Il-DuckDuckGo jikseb ir-riżultati minn aktar minn 400 sors, inklużi diversi sorsi vertikali li jagħtu tweġibiet relatati ma 'Tweġibiet Instant, Wikipedia u DuckDuckBot. Jittratta wkoll mistoqsijiet li jiġu minn sorsi bħal Yandex, Bing, u Yahoo.

5. Baiduspider

Il-Baiduspider huwa l-isem uffiċjali tal-web crawler jew spider tal-magna ta 'riċerka Ċiniża. Huwa jista 'indiċi ħafna paġni tal-web kuljum u jirritorna l-aġġornamenti għall-indiċi Baidu tiegħu. Il-Baidu huwa wieħed mill-magni ta 'riċerka Ċiniżi ewlenin. Għandu aktar minn tmenin sehem fil-mija tas-swieq tat-tfittxija ġenerali taċ-Ċina kontinentali.

6. Bot Yandex

Il-YandexBot huwa web crawler partikolari ta ’magna ta’ riċerka Russa, Yandex. Ħwienet tal-midja jiddikjaraw li dan il-bot iġġenera aktar minn 57% tat-traffiku kollu tal-magni tat-tiftix fir-Russja matul l-2015.

7. Sogou Spider

Is-Sogou Spider huwa web crawler famuż ta 'Sogou.com. Din il-magna ewlenija ta 'riċerka Ċiniża tnediet fl-2004 u għandha grad ta' 103 fuq Alexa. Għandek iżżomm f'moħħok li l-brimba Sogou web qatt ma tirrispetta l-istandards tal-internet robot.txt u hija pprojbita minn diversi siti minħabba t-tkaxkir eċċessiv tagħha.

8. Exabot

Dan il-web crawler huwa mħaddem minn Exalead, magna ta 'riċerka Franċiża. Din twaqqfet ftit snin ilu u għandha aktar minn sittax-il biljun paġna tal-web indiċjati fir-riżultati tat-tfittxija tagħha.

9. Facebook Estern Hit

Il-ġgant tal-midja soċjali, Facebook, iħalli lill-utenti tiegħu jaqsmu links interessanti ma 'utenti oħra tal-Facebook. Il-Facebook Estern Hit iwettaq varjetà ta 'funzjonijiet, inkluż il-wiri ta' diversi immaġini, xi vidjows eċċitanti, u ftit paġni tal-web. Wieħed mill-bot crawling ewlieni u famuż huwa Facebot li jgħin biex itejjeb il-prestazzjoni tar-reklamar.

10. Alexa Crawler

Alexa Crawler huwa mħaddem minn Alexa tal-Amazon u jintuża biex indiċi għexieren ta ’paġni tal-web. Dan jiġbor informazzjoni dwar il-websajts u jikklassifikahom skont il-preferenzi lokali u internazzjonali.

Nota Finali

Hemm diversi web crawlers u bots, għalhekk meta timblokka xi websajt suspettuża, kun żgur li ma timblokkax il-bots tajbin li indiċjaw il-paġni tal-web tiegħek fir-riżultati tal-magna tat-tiftix.

mass gmail