¿Qué es anthropic-ai?
User-agent viejo, ya no está en uso activo. Bloquearlo no frena nada de Anthropic hoy: el set activo es ClaudeBot, Claude-SearchBot y Claude-User.
Reemplazado en la práctica por: ClaudeBot, Claude-SearchBot, Claude-User.
El cumplimiento de robots.txt para este bot no está garantizado por su operador.
¿Debería bloquear anthropic-ai?
Depende de tu prioridad: si querés que tu contenido no alimente el entrenamiento de modelos futuros, bloquearlo es razonable y no tiene costo de visibilidad. Si priorizás aparecer en todos lados, dejalo permitido.
Regla de robots.txt
Para bloquearlo:
User-agent: anthropic-ai Disallow: /
Generá tu robots.txt completo, con todos los bots a la vez, en el generador, o auditá el que ya tenés en el checker.