Kako da zabranim indeksiranje određenih stranica? Šta je robots.txt?

Kako da zabranim indeksiranje određenih stranica? Šta je robots.txt?
240

Kako da zabranim indeksiranje određenih stranica? Šta je robots.txt?

Recite Googleu koje stranice ne bi trebalo da budu indeksirane

Najbolje prakse

Za informacije koje nisu osetljive, blokirajte neželjeno indeksiranje pomoću datoteke robots.txt

Datoteka “robots.txt” govori pretraživačima da li mogu da pristupe delovima vašeg sajta i stoga ih pretražuju. Ova datoteka, koja mora biti nazvana “robots.txt”, nalazi se u osnovnom direktorijumu vašeg sajta. Moguće je da se stranice koje je blokirala datoteka robots.txt i dalje mogu indeksirati, tako da za osetljive stranice trebate koristiti sigurniji način.

Možda ne želite da se određene stranice vašeg veb lokacije indeksiraju jer možda neće biti korisne korisnicima ako se pronađu u rezultatima pretraživanja tražilice. Ako želite da sprečite pretraživače da indeksiraju vaše stranice, Google konzola za pretragu ima prijateljski generator robots.txt koji će vam pomoći da napravite ovu datoteku.

Imajte na umu da ako vaš sajt koristi poddomene i želite da određene stranice ne budu indeksirane na određenom poddomenu, moraćete da napravite odvojenu datoteku robots.txt za tu poddomen.

Ne dozvolite da vaše stranice za rezultate interne pretrage budu indeksirane od strane Google-a. Korisnici ne vole da kliknu na rezultat pretrage samo da bi došli na drugu stranicu rezultata pretrage na vašoj veb-lokaciji.

Za osetljive informacije koristite sigurnije metode

Robots.txt nije odgovarajući ili efikasan način blokiranja osetljivih ili poverljivih materijala.

Jedan od razloga je to što pretraživači i dalje mogu referencirati URL-ove koje blokirate (prikazujući samo URL, bez naslova ili isečka) ako se negde na internetu nalaze veze na te URL-ove (poput dnevnika upućivanja). Takođe, neusaglašeni ili nepošteni pretraživači koji ne priznaju standard za isključivanje robota mogu da ne poštuju instrukcije vašeg robots.txt fajla.

Konačno, znatiželjni korisnik može pregledati direktorijume ili poddirektorije u vašoj datoteci robots.txt i pogoditi URL sadržaja koji ne želite da se vidi.

U ovim slučajevima, koristite oznaku noindek ako želite da se stranica ne pojavljuje u Google-u, ali nemojte smetati ako bilo koji korisnik sa vezom dođe do stranice. Za stvarnu sigurnost, ipak, trebate koristiti odgovarajuće metode autorizacije, kao što su zahtijevanje korisničke lozinke, ili potpuno oduzimanje stranice sa vašeg sajta.


Klikovi
Njuz Network

Kako da zabranim indeksiranje određenih stranica? Šta je robots.txt?

Comments
Prikazujem...