Návody vysvětlují implementované kontroly. Jejich použití nezaručuje citaci ani doporučení v AI.
Kontrola TECH-BOT-013, verze navod-2026-09-19.v1. Datum vydání návodu je součástí verze.
Ověření: Otevřete robots.txt a najděte skupinu pro každý token z nálezu; hotovo je, když žádný povinný vyhledávací token nemá Disallow na prioritní cestě, každý zákaz odpovídá zapsanému rozhodnutí o užití obsahu, a v serverovém logu má ověřený požadavek toho crawleru (reverzní DNS nebo zveřejněná IP) stav 200 na prioritních adresách.
Omezení: Veřejný scan platformy chodí pod vlastním agentem a dotaz za cizího crawlera neposílá; nález pochází z auditu operátora. Sonda za crawlera jde z neověřené IP, takže odmítnutí může být správné chování firewallu – identitu potvrdí až log. Nula požadavků v logu neznamená nulovou viditelnost.
Web zavírá dveře robotům, které ho mají najít
Neexistuje jeden „AI crawler“. Jsou tři třídy: crawler, který plní vyhledávací nebo odpovědní index (Googlebot, Bingbot, OAI-SearchBot, PerplexityBot), crawler, který sbírá obsah pro trénování modelů (GPTBot, ClaudeBot), a načítání stránky na žádost uživatele [S39][S43]. Zablokovaný vyhledávací crawler je technická vada. Zablokovaný trénovací crawler je rozhodnutí o právech k obsahu a nález z něj nevzniká – ledaže se rozchází s tím, co jste rozhodli. Soubor robots.txt je přitom preference pro slušné roboty, ne zámek [S05].
Kontrola prochází token po tokenu z matice metodiky: co říká robots.txt a co vrátí server na požadavek s tím tokenem. Tenhle nález nevzniká z bezplatného scanu – ten chodí pod vlastním agentem a za cizího crawlera se neptá. Přichází z auditu operátora.
robots.txt zakazuje vyhledávací crawler (BOT_SEARCH_BLOCKED)
Kdo to opraví: vývojář.
V robots.txt je Disallow pro token, který plní vyhledávací nebo odpovědní index, na cestě, kde leží prioritní stránky. Je to deklarace, kterou web sám zveřejňuje, takže nález je doložený bez dalšího ověřování. Častá příčina je plošné pravidlo „všechno s AI v názvu zakázat“, které smetlo i vyhledávací tokeny, nebo pravidlo z doby, kdy web nebyl veřejný.
Uvolněte povinné vyhledávací tokeny; zákaz nechte jen u tokenů, ke kterým máte zapsané rozhodnutí o právech. Pozor na jednu vlastnost formátu: jmenovaná skupina (User-agent: GPTBot) skupinu * nahrazuje, nedědí z ní – každý zákaz, který má platit i pro ten token, se v jeho skupině musí zopakovat [S94]. Skupina jen s Allow: / pustí token i tam, kam * ostatní nepouští.
Hotovo je, když žádný povinný vyhledávací token nemá Disallow na cestě prioritních stránek a robots.txt vrací stav 200.
Server nebo pravidla odpovídají jinak, než je rozhodnuto (BOT_RESPONSE_DIFFERS)
Kdo to opraví: vývojář; rozhodnutí o právech dodá vlastník.
Slabší nález, a nese to v sobě. Spadají sem tři situace:
- Prohlížeč dostane 200, sonda s tokenem crawleru 403, 429 nebo ověřovací stránku. Sonda jde z neověřené adresy, takže firewall nebo CDN, který odmítne podvrženého crawlera, se může chovat správně. Doložit to musí log: požadavek s ověřenou identitou (reverzní DNS nebo zveřejněná IP podle platformy) a jeho stav [S24][S39][S43]. Teprve odmítnutý ověřený požadavek je vada – pak upravte pravidla firewallu nebo CDN tak, aby vyhledávací tokeny s ověřenou identitou procházely. U Cloudflaru uložte i export nastavení AI Crawl Control, samotná přítomnost dodavatele vada není [S76][S77].
- Zákaz tokenu, u kterého je blok jen upozornění, ne vada – nález žádá zapsat, jestli je záměr.
- Rozpor mezi robots.txt a zapsaným rozhodnutím: rozhodnuto „povolit“, v robots.txt je zákaz, nebo naopak. Vada není v právech, ale v tom, že rozhodnutí není provedené – srovnejte soubor s rozhodnutím.
Hotovo je, když každý rozdíl z nálezu má buď záznam z logu s ověřenou identitou a stavem 200, nebo zapsané rozhodnutí, že omezení je záměr.
Co tahle kontrola neví
Bezplatný scan za cizího crawlera nežádá, takže o odpovědi serveru botům neříká nic. Sonda v auditu se za crawlera nevydává – nese jeho token a větu, že jde o audit – a jde z neověřené adresy; pravidlo na celý řetězec agenta ji netrefí a odmítnutí může být správné. Identitu potvrdí jen log. Nula požadavků crawleru v logu neznamená, že web ve výsledcích není, a průchod sondy neznamená, že crawler přijde. Který token má být zakázaný z důvodu práv, kontrola neposoudí – to je rozhodnutí vlastníka.
