Google má pre každý web crawl budget – obmedzený počet stránok, ktoré prelezie a zaindexuje. Ak ho miniete na nízko hodnotné stránky, dôležité stránky môžu zostať mimo indexu.
Riešenie? Tag noindex v meta značkách alebo HTTP hlavičkách zabráni indexácii nepotrebných stránok (napr. administratívne sekcie, filtre, duplicitné varianty produktov). Takto usmerníte Google na relevantné stránky a zlepšíte SEO vášho webu.
Nezabudnite: noindex ? disallow v robots.txt! Robots.txt len blokuje crawling, ale Google môže stránku aj tak indexovať, ak na ňu vedú odkazy.