1. Elegí un punto de partida
Podés ajustar cualquier bot individualmente después.
2. Ajustá bot por bot
Búsqueda / retrieval de IA
Se usan al responderte a vos. Bloquear acá = desaparecés de esas respuestas.
Alimenta las respuestas de búsqueda de ChatGPT. Bloquearlo te elimina de esas respuestas. Casi nunca querés bloquearlo.
Se activa cuando una persona le pide a ChatGPT que mire una página puntual. OpenAI aclara que, al ser un pedido iniciado por un usuario, tu robots.txt puede no aplicar — bloquearlo no lo garantiza.
Alimenta la búsqueda web de Claude. Bloquearlo reduce tu presencia en las respuestas de Claude que citan fuentes web.
Se activa cuando una persona le pide a Claude que analice una página puntual. A diferencia de OpenAI con ChatGPT-User, Anthropic indica que este bot sí respeta tu robots.txt. Bloquearlo rompe ese pedido explícito del usuario.
Alimenta las respuestas de Perplexity. Bloquearlo te saca de sus resultados. Perplexity aclara que este bot no se usa para entrenar modelos.
Fetch en tiempo real iniciado por una persona en Perplexity. Perplexity indica que, al ser un pedido de un usuario, generalmente no respeta tu robots.txt — bloquearlo no lo garantiza.
Crawler de Apple para Siri, Spotlight y Safari. Bloquearlo reduce tu presencia en esos productos de búsqueda de Apple.
Es el crawler de Google Search: cubre Search, Discover, Google Images, Google News y funciones con IA como AI Overviews. NUNCA lo bloquees: desaparecés de Google por completo. No es un bot de IA opcional.
Analiza contenido para mejorar la relevancia de las respuestas de Meta AI. Bloquearlo reduce tu presencia en esas respuestas, sin afectar el entrenamiento de modelos.
Entrenamiento de modelos
Alimentan modelos futuros. Bloquear acá no afecta tu visibilidad actual.
Opt-out del entrenamiento de Apple Intelligence y otros modelos de Apple. No crawlea nada por su cuenta: solo decide cómo se usan los datos que ya junta Applebot. No te saca de la búsqueda ni de Siri.
Controla solo si Google puede usar tu contenido para entrenar futuros modelos Gemini. Google aclara que no afecta tu inclusión en Search ni es señal de ranking.
Bloquearlo saca tu contenido del entrenamiento de futuros modelos de OpenAI. No afecta si aparecés en las respuestas de ChatGPT ni tu ranking en Google.
Bloquearlo saca tu contenido del entrenamiento de los modelos de Anthropic. No afecta tu visibilidad en las respuestas de Claude ni en la búsqueda web de Claude-SearchBot.
Common Crawl alimenta a muchos modelos de IA, incluidos varios open-source, que después descargan su dataset público. Bloquearlo es una forma amplia e indirecta de opt-out de entrenamiento.
Crawler de entrenamiento de Meta (modelos Llama y afines). Bloquearlo saca tu contenido de ese entrenamiento, sin afectar a Meta-WebIndexer ni tu presencia en Meta AI.
ByteDance dice que respeta robots.txt, pero hay reportes de 2023 de que siguió crawleando rutas bloqueadas. Una regla acá es un primer intento razonable; si te importa en serio, sumá un bloqueo a nivel servidor o CDN.
Otros
Casos puntuales (verificación de anuncios, agentes a pedido de un cliente, etc.).
Valida que las páginas de destino de los anuncios de OpenAI funcionen bien. No entrena modelos ni afecta tu visibilidad en ChatGPT — solo importa si corrés anuncios en OpenAI.
Crawler genérico que usan distintos equipos internos de Google para investigación y desarrollo, sin un producto de cara al usuario asociado. Bloquearlo no tiene un efecto documentado en Search.
Crawlea tu sitio solo cuando un cliente de Google Cloud pide construir un agente de Vertex AI sobre tu contenido. Google aclara que no tiene efecto en Search ni en otros productos.
3. Rutas clásicas y sitemap
Rutas clásicas y sitemap
Esto no tiene nada que ver con IA — son los Disallow de siempre, para cualquier bot.
4. Resultado
Tu robots.txt
# Generado con CrawlerControl (crawlercontrol.com) # Base de bots v2026.07.1 - actualizada 2026-07-11 # Bots de entrenamiento de IA bloqueados # No afecta tu visibilidad en respuestas de IA, solo el entrenamiento de modelos futuros User-agent: Applebot-Extended Disallow: / User-agent: Google-Extended Disallow: / User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: CCBot Disallow: / User-agent: meta-externalagent Disallow: / User-agent: Bytespider Disallow: / # Reglas generales del sitio User-agent: * Allow: /