Crawling

Crawling (procházení) je proces, při kterém roboti vyhledávačů (například Googlebot) systematicky procházejí webové stránky a sbírají jejich obsah. Robot začíná na jedné URL, přečte obsah stránky a sleduje nalezené odkazy na další stránky – takto postupně prochází celý web. Obsah získaný crawlingem je následně zpracován a zařazen do indexu vyhledávače. Správná konfigurace souboru robots.txt a sitemapy pomáhá robotům efektivněji procházet právě ty stránky, které chcete mít ve výsledcích vyhledávání.