Robots.txt
Soubor robots.txt říká vyhledávacím robotům, které části webu mohou nebo nemohou procházet. Nachází se v kořenovém adresáři webu a je jedním z prvních souborů, které robot navštíví.
Pomocí robots.txt můžeš skrýt administrativní sekce, testovací verze nebo jiné citlivé části webu. Ale pozor – chybné nastavení může zabránit indexaci důležitých stránek.
Soubor by měl být pravidelně kontrolován, zvlášť po redesignu nebo změnách struktury webu.
« Zpět na slovníček