Návody vysvětlují implementované kontroly. Jejich použití nezaručuje citaci ani doporučení v AI.
Kontrola TECH-CLOUDFLARE-014, verze navod-2026-09-19.v1. Datum vydání návodu je součástí verze.
Ověření: Uložte datovaný export AI Crawl Control a WAF pravidel a nechte zopakovat sondu; hotovo je, když každý povinný vyhledávací token dostane stav 200 stejně jako prohlížeč a v exportu není mezi blokovanými.
Omezení: Nastavení Cloudflare vidí jen vlastník účtu, zvenčí se přečíst nedá. Sonda jde z neověřené adresy, takže odmítnutí padělatelného User-Agenta může být správné chování. Samotná přítomnost Cloudflare není nález.
Cloudflare nepouští vyhledávací crawler
Cloudflare je služba, která stojí mezi návštěvníkem a vaším serverem a umí filtrovat roboty. Má k tomu vlastní nástroj AI Crawl Control, dostupný na všech plánech [S77], a výchozí nastavení pro nové domény se v čase mění [S76]. Tahle kontrola hlídá jednu věc: jestli přes tu bránu projdou crawlery, které web potřebuje pro vyhledávání a odpovědi. Potvrzený blok takového crawleru je priorita P0. To, že web na Cloudflare běží, samo o sobě nález není.
Co je potřeba dodat. Nastavení Cloudflare zvenčí vidět není, proto kontrola bez podkladu vyjde unknown. To znamená chybějící podklad, ne vadu webu. Dodejte:
- datovaný export konfigurace AI Crawl Control (které tokeny jsou povolené, které blokované) a export WAF pravidel, která se týkají botů;
- datovaný screenshot nastavení zóny;
- do kontextového souboru zápis
cloudflare_config s polem source (odkud export je a z jakého dne) a blocked_tokens (seznam blokovaných tokenů).
Dodané nastavení blokuje povinný crawler (CDN_CONFIG_BLOCKS_SEARCH)
Kdo to opraví: vývojář.
Nejzávažnější z celé kontroly. Export konfigurace, který jste dodali, blokuje jeden nebo víc tokenů ze třídy search nebo answer, které máte v politice crawlerů jako povinné. Není to dohad ze sondy, rozhodl to zápis vašeho nastavení.
- V AI Crawl Control povolte tokeny, které nález jmenuje. Jsou to vyhledávací crawlery, ne trénovací; blokace trénovacích tokenů (
GPTBot, CCBot a podobných) je rozhodnutí o právech k obsahu a v nálezu se vede zvlášť. - Ve WAF pravidlech najděte to, které na povinný token dopadá, a zužte ho tak, aby platilo jen na to, co skutečně chcete odmítat. Změnu nechte projít bezpečnostním review.
- Uložte nový datovaný export a pošlete ho k opakování kontroly.
Sonda naměřila blok, nastavení chybí (CDN_TOKEN_BLOCKED_UNCONFIRMED)
Kdo to opraví: vývojář.
Prohlížeč dostal stav 200, ale požadavek s User-Agentem povinného crawleru dostal 403 nebo výzvu k ověření. Nález je silná inference, ne potvrzení: sonda šla z adresy, která crawleru nepatří, a odmítnout požadavek s padělatelným User-Agentem z cizí adresy může být přesně to, co má firewall dělat.
- Dodejte export konfigurace a screenshot podle seznamu výše. Bez nich kontrola nerozliší správné chování firewallu od skutečného bloku.
- V přístupovém logu najděte požadavky téhož tokenu z ověřené identity (publikované rozsahy adres nebo reverzní DNS) a jejich stavy. Teprve doložený blok z ověřené identity je P0.
- Potvrdí-li se blok, pokračujte podle předchozí sekce.
Co tahle kontrola neví
Nevidí do účtu Cloudflare. Bez dodaného exportu umí jen změřit účinek z jedné neověřené adresy, a to je indicie, ne důkaz. Hlavičky, podle kterých se Cloudflare pozná, lze skrýt; nedetekovaný dodavatel neznamená, že mezi návštěvníkem a serverem nic není. Blokace na jiném CDN se tu nehodnotí, tu řeší kontrola TECH-BOT-013. Výchozí nastavení Cloudflare se mění v čase [S76], takže export starší než změna výchozích hodnot je potřeba pořídit znovu.
