GeoRevealBot

GeoRevealBot je robot scanu GEO / REVEAL. Na web príde len vtedy, keď o scan jeho adresy niekto požiada na georeveal.cz.

Čo robí

Stiahne robots.txt, sitemapu a verejné stránky webu a z nich vypočíta, ako ľahko web prečítajú vyhľadávače a AI systémy. Neodosiela formuláre, neprihlasuje sa a nespúšťa skripty stránok. Stránky sťahuje jednu po druhej.

Kedy chodí

Len na požiadanie: scan zadarmo, ktorý niekto zadal na georeveal.cz, alebo pravidelné meranie webu v predplatnom. Sám od seba weby neprechádza a nezbiera ich do žiadneho vyhľadávača.

Koľko stránok stiahne

Scan zadarmo stiahne najviac 100 stránok, žiadny scan viac ako 1 000. Medzi dvoma dopytmi čaká najmenej 250 ms. Riadi sa aj pravidlom Crawl-delay do 5 sekúnd; s dlhšou hodnotou web neprechádza vôbec.

Ako ho spoznáte v logu

Každý dopyt nesie túto hlavičku:

User-Agent: GeoRevealBot/1.0 (+https://georeveal.cz/robot)

Dopyty chodia z IP adresy 209.200.246.41.

Ako ho zakázať

Do súboru robots.txt na svojom webe pridajte:

User-agent: GeoRevealBot
Disallow: /

Robot číta robots.txt pred prvou stránkou každého scanu, zákaz teda platí od ďalšieho scanu a jeho výsledok povie, že web robotov blokuje. Pravidlá pre skupinu GeoRevealBot majú prednosť pred skupinou s hviezdičkou. Platí aj skupina pod starým menom robota GeoAuditBot.

Nástroj „Vidí váš web ChatGPT?“

Tento nástroj stiahne robots.txt a úvodnú stránku webu: raz ako bežný prehliadač a raz za každého skúmaného AI robota pod jeho menom s poznámkou, že ide o skúšobný dopyt, nie o skutočného robota. Tak zistí, či web alebo firewall robota pustí. Iné stránky nesťahuje a zákaz pre GeoRevealBot tieto dopyty nezastaví: skúmajú práve to, ako web na robotov odpovedá.

Kontakt

Otázky a sťažnosti na robota posielajte na info@georeveal.cz. Kto web prevádzkuje, nájdete na stránke Kontakt.