AI Bots Inspector
Cosa fa
Fa il fetch del robots.txt dell'URL indicato, lo confronta con la lista dei principali bot AI e segnala i bot bloccati, distinguendo due tipi. I bot di risposta (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot) leggono le pagine per citarle nelle risposte AI: bloccarli costa visibilità. I bot di addestramento (GPTBot, ClaudeBot, Google-Extended) raccolgono solo dati per i modelli futuri: bloccarli è una scelta legittima, per esempio sulle pagine con dati proprietari. L'allowlist suggerita riapre solo i bot di risposta.
Quando usarlo
- Come primo check tecnico: senza accessibilità ai bot AI, nessun altro lavoro GEO ha senso.
- Quando si vuole verificare che modifiche recenti al
robots.txtnon abbiano bloccato qualche crawler nuovo. - In agenzia, all'onboarding di un cliente prima di promettere risultati GEO.
Input richiesti
url(obbligatorio nel body): URL del sito da controllare.store_id(opzionale): per metering per-store.
Esempio output
{
"url": "https://example.com",
"blocked_bots": ["GPTBot", "PerplexityBot"],
"allowed_bots": ["ClaudeBot", "Google-Extended"],
"suggested_allowlist": "User-agent: PerplexityBot\nAllow: /\n"
}