Googlebot
Googlebot je automatizovaný robot (crawler), který prochází webové stránky a ukládá jejich obsah do indexu Google. Existují různé verze — například pro desktop a mobilní zařízení. Frekvence procházení závisí na tzv. crawl budgetu a autoritě webu.
Správné nastavení souborů jako robots.txt a sitemap.xml pomáhá Googlebotu pochopit strukturu webu a efektivněji indexovat obsah. Chybná konfigurace může naopak způsobit, že důležité stránky zůstanou neindexované.