Robots.txt

Published by Marek Smékal on

« Back to Glossary Index

Soubor robots.txt říká vyhledávacím robotům, které části webu mohou nebo nemohou procházet. Nachází se v kořenovém adresáři webu a je jedním z prvních souborů, které robot navštíví.

Pomocí robots.txt můžeš skrýt administrativní sekce, testovací verze nebo jiné citlivé části webu. Ale pozor – chybné nastavení může zabránit indexaci důležitých stránek.

Soubor by měl být pravidelně kontrolován, zvlášť po redesignu nebo změnách struktury webu.

« Zpět na slovníček