Paginile fiecărui site sunt accesate cu crawlere în mod regulat de roboți de căutare, care procesează informațiile de pe site, astfel încât acestea să fie disponibile la cererea utilizatorilor din motoarele de căutare. Vizitele vizitatorilor de la motoarele de căutare au un efect pozitiv asupra traficului site-ului și stimulează dezvoltarea resursei. Dar, dacă există pagini pe site, ale căror informații nu sunt destinate publicului de pe internet (de exemplu, paginile personale ale utilizatorilor sau pagina de înregistrare), atunci nu este necesară trecerea de la motoarele de căutare la astfel de pagini și este mai bine să interzice indexarea acestor informații.
Necesar
- - să ai propriul tău site web
- - să cunoască legăturile către pagini, indexarea cărora ar trebui interzisă.
- - să aibă cel puțin cunoștințe de bază despre HTML
Instrucțiuni
Pasul 1
Pentru a împiedica robotul de căutare să indexeze anumite pagini ale site-ului, trebuie să faceți modificări în fișierul robots.txt, dacă acesta este deja pe site-ul dvs., sau să creați acest fișier.
Pasul 2
Dacă fișierul robots.txt este deja încărcat pe site și este posibil să editați acest fișier direct din panoul de control al resurselor, deschideți robots.txt prin intermediul serviciului web pentru editare.
Pasul 3
Dacă nu există nicio modalitate de a modifica fișierul dorit direct din panoul de control, deschideți robots.txt într-un browser făcând clic pe linkul către acest fișier. Copiați toate datele din pagina care se deschide și lipiți-le pe foaia din Notepad.
Pasul 4
Dacă nu există niciun robot.txt pe site, deschideți programul „Notepad”, în noul document al cărui va trebui să introduceți codul necesar.
Pasul 5
Pe o foaie goală de document text, scrieți primul rând necesar:
Agent utilizator: *
Pasul 6
Apoi mergeți la linia următoare apăsând tasta Enter și tastați următorul cod:
Disallow: / index / page3 Disallow: nu indică indexarea, iar / index / page3 este un link către o pagină care nu trebuie indexată. În loc de link / index / page3, introduceți un link către pagina site-ului dvs. pe care doriți să o blocați pentru procesare de către roboți.
Pasul 7
Rețineți că numele domeniului în sine lipsește la începutul linkului; prezența sa în intrare implică o bară directă. Când accesează cu crawlere un site, un robot de căutare introduce automat un nume de domeniu în astfel de linkuri. Prin urmare, scrieți astfel link-uri către paginile necesare.
Pasul 8
După Renunțare: puteți plasa nu numai un link către o anumită pagină, ci și un link către orice secțiune sau director al site-ului. În mod similar, puteți interzice indexarea părții dorite a site-ului.
Pasul 9
Dacă este necesar să se interzică prelucrarea de către roboți a mai multor secțiuni diferite ale resursei, scrieți un link către fiecare secțiune sau pagină pe o nouă linie, la începutul căreia nu uitați să puneți intrarea Disallow:.
Pasul 10
Pentru a finaliza schimbarea robots.txt, faceți clic pe butonul „Salvați” în timp ce editați fișierul din panoul de control sau salvați un document text cu intrări sub numele robots.txt și încărcați acest fișier pe site.
