Robotul motorului de căutare este responsabil pentru accesarea cu crawlere a paginilor web. Programul citește automat datele de pe toate site-urile și le înregistrează într-o formă care este de înțeles pentru motorul de căutare în sine, astfel încât ulterior sistemul să afișeze cele mai potrivite rezultate pentru utilizator.
Funcții
Toate informațiile indexate sunt înregistrate într-o bază de date comună.
Un robot de căutare este un program care călătorește automat prin paginile internetului, solicitând documentele necesare și primind structura site-urilor accesate cu crawlere. Robotul selectează în mod independent paginile de scanat. În majoritatea cazurilor, site-urile de scanat sunt selectate aleatoriu.
Tipuri de bot
Un robot care funcționează necorespunzător crește semnificativ încărcarea în rețea și pe server, ceea ce poate cauza resursele indisponibile.
Fiecare motor de căutare are mai multe programe numite roboți. Fiecare dintre ele poate îndeplini o funcție specifică. De exemplu, la Yandex, unii roboți sunt responsabili pentru scanarea fluxurilor de știri RSS, care vor fi utile pentru indexarea blogurilor. Există, de asemenea, programe care caută doar imagini. Cu toate acestea, cel mai important lucru este robotul de indexare, care stă la baza oricărei căutări. Există, de asemenea, un robot rapid auxiliar conceput pentru a căuta actualizări despre fluxuri de știri și evenimente.
Procedura de scanare
O altă modalitate de a preveni accesarea cu crawlere a conținutului este crearea accesului la site prin intermediul panoului de înregistrare.
Când vizitați site-ul, programul scanează sistemul de fișiere pentru a detecta prezența fișierelor de instrucțiuni robots.txt. Dacă există un document, începe citirea directivelor scrise în document. Robots.txt poate interzice sau, invers, permite scanarea anumitor pagini și fișiere de pe site.
Procesul de scanare depinde de tipul de program. Uneori, roboții citesc doar titlurile paginilor și câteva paragrafe. În unele cazuri, scanarea se face în întregul document în funcție de marcajul HTML, care poate funcționa și ca mijloc de specificare a frazelor cheie. Unele programe sunt specializate în etichete ascunse sau meta.
Adăugarea la listă
Fiecare webmaster poate împiedica motorul de căutare să acceseze cu crawlere pagini prin robots.txt sau prin eticheta META. De asemenea, creatorul site-ului poate adăuga manual site-ul la coada de indexare, dar adăugarea acestuia nu înseamnă că robotul va accesa cu crawlere imediat pagina dorită. Pentru a adăuga un site la coadă, motoarele de căutare oferă și interfețe speciale. Adăugarea unui site accelerează semnificativ procesul de indexare. De asemenea, pentru înregistrarea rapidă într-un motor de căutare, pot fi utilizate sisteme de analiză web, directoare de site etc.
