¿Qué es Claude-User?
Se activa cuando una persona le pide a Claude que analice una página puntual. A diferencia de OpenAI con ChatGPT-User, Anthropic indica que este bot sí respeta tu robots.txt. Bloquearlo rompe ese pedido explícito del usuario.
¿Debería bloquear Claude-User?
Probablemente no, salvo que tengas una razón puntual — es un bot de búsqueda/retrieval, y bloquearlo tiene el costo directo de sacarte de esas respuestas.
Regla de robots.txt
Para bloquearlo:
User-agent: Claude-User Disallow: /
Generá tu robots.txt completo, con todos los bots a la vez, en el generador, o auditá el que ya tenés en el checker.