Uneori, un webmaster trebuie să elimine una din paginile indexate din motorul de căutare. Cel mai adesea, la această operațiune se recurge după introducerea greșită a adresei paginii în lista generală a sitemap-ului. La un moment dat, specialiștii companiei Megafon au întâmpinat această eroare (mesajele sms au devenit disponibile oricărui utilizator al motorului de căutare Yandex).
Este necesar
Site personal
Instrucțiuni
Pasul 1
Una dintre cele mai simple modalități de a vă elimina propria pagină web din arhivele motoarelor de căutare este să o ștergeți fizic, să modificați adresa locației și să o ștergeți în mod fals (trebuie să setați atributul paginii șterse). După transformarea acestei pagini, robotul de căutare va vedea următoarea linie în loc de conținut: HTTP / 1.1 404 Not Found. Cu toate acestea, nu uitați că roboții de căutare pot vizita site-ul la fiecare 3 ore și poate o dată la 2-3 zile. Prin urmare, trebuie să așteptați un timp pentru a obține rezultatul.
Pasul 2
Următorul mod este să editați fișierul robots.txt, care determină calea crawlerului imediat ce ajunge pe site-ul dvs. Acest document text are întotdeauna o singură locație - rădăcina site-ului. În primul paragraf, parametrii de indexare pentru robotul Yandex sunt de obicei indicați (diferă semnificativ de alți roboți), în al doilea paragraf pentru toate celelalte motoare de căutare.
Pasul 3
La începutul paragrafului, trebuie să specificați titlul agentului „User-Agent: *” și adresele paginilor care urmează să fie ascunse - „Disallow: /wp-content/foto/fotojaba.html”. În același mod, trebuie să specificați adresele paginilor sau secțiunilor pe care doriți să le închideți de la indexare. Vă rugăm să rețineți că această metodă nu oferă rezultate rapide. Dacă site-ul dvs. are o activitate redusă și știrile nu sunt difuzate pe rețelele de socializare, prelucrarea datelor noi poate ajunge la o perioadă de câteva zile. În plus, va trebui să ștergeți versiunile acestor pagini din arhiva serviciului de căutare.
Pasul 4
O metodă alternativă pentru setarea linkurilor în fișierul robots.txt este utilizarea etichetei meta-roboți cu același nume. Sintaxa pentru această etichetă este după cum urmează: trebuie plasată între etichetele [head] și [/head] asociate. Valoarea roboților trebuie plasată în eticheta de nume meta. Un exemplu ar arăta astfel:.
