Por qué esto importa ahora
Hasta hace poco, un robots.txt le hablaba a un puñado de crawlers conocidos: Googlebot, Bingbot, y algún scraper ocasional. Hoy le habla, además, a bots que deciden si tu sitio aparece citado cuando alguien le pregunta algo a ChatGPT, a Claude o a Perplexity — y a bots completamente distintos que solo absorben contenido para entrenar el próximo modelo.
El problema es que la mayoría de los archivos que existen hoy fueron escritos antes de que esa distinción existiera, o generados por un plugin de CMS que no la conoce. El resultado típico: un dueño de sitio que quiso "protegerse de la IA" en 2023 o 2024 terminó bloqueando, sin saberlo, al mismo bot que lo haría aparecer citado en una respuesta de ChatGPT hoy.
Dos familias de bots que nunca hay que confundir
Esta es la distinción que sostiene todo lo demás en este sitio:
| Búsqueda / retrieval | Entrenamiento |
|---|---|
| Se activa cuando el motor de IA responde una pregunta en tiempo real | Recolecta contenido para entrenar un modelo futuro |
| Bloquearlo te saca de esas respuestas hoy | Bloquearlo no afecta tu visibilidad hoy |
| OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot | GPTBot, ClaudeBot, Google-Extended, CCBot |
| Default recomendado: permitir | Default recomendado: decisión tuya |
Confundir estas dos categorías es, en nuestra experiencia revisando herramientas y directorios existentes, el error más común y el más caro: vimos publicado más de una vez el dato exactamente al revés — presentando a un bot de búsqueda como si bloquearlo "solo" afectara entrenamiento, cuando en realidad te saca de las respuestas al instante. Es el tipo de error que un generador automático no detecta porque nunca modeló la distinción para empezar.
Ver el detalle bot por bot, con la consecuencia de bloquear cada uno, en el directorio completo.
La trampa del CDN
Tu robots.txt es un archivo que vos controlás, pero no es la única capa que decide si un bot llega a tu contenido. Si tu sitio está detrás de Cloudflare u otro WAF, puede haber reglas de bloqueo de bots activadas a nivel de borde (edge) que ni siquiera tocan tu robots.txt — y que ningún checker de robots.txt, incluido el nuestro, puede ver desde afuera.
El caso concreto más común: la regla predefinida "AI Scrapers and Crawlers" de Cloudflare, pensada para bloquear scraping de IA en bloque, es anterior a que OpenAI separara OAI-SearchBot (búsqueda) de GPTBot (entrenamiento) como user-agents distintos. Un sitio que activó esa regla sin revisarla después puede estar bloqueando búsqueda de IA en el borde mientras su robots.txt dice, correctamente, que la permite. La única forma de saberlo es revisar la configuración del CDN directamente, no el archivo.
Lo que dicen los datos
Un estudio de BuzzStream sobre grandes medios encontró que el 79% de los sitios de noticias top bloquea bots de entrenamiento de IA vía robots.txt, pero solo el 14% bloquea absolutamente todos los bots de IA — la mayoría ya distingue, al menos parcialmente, entre entrenar y aparecer citado. (BuzzStream, 2025). El patrón que vemos en sitios más chicos y menos especializados en SEO suele ir al revés: bloqueos en bloque, heredados de un plugin o una plantilla vieja, sin distinción ninguna.
Qué hacer con esto
Si nunca revisaste tu robots.txt pensando específicamente en bots de IA, dos pasos concretos: