¿Qué es Google-CloudVertexBot?
Crawlea tu sitio solo cuando un cliente de Google Cloud pide construir un agente de Vertex AI sobre tu contenido. Google aclara que no tiene efecto en Search ni en otros productos.
¿Debería bloquear Google-CloudVertexBot?
Depende de tu prioridad: si querés que tu contenido no alimente el entrenamiento de modelos futuros, bloquearlo es razonable y no tiene costo de visibilidad. Si priorizás aparecer en todos lados, dejalo permitido.
Regla de robots.txt
Para bloquearlo:
User-agent: Google-CloudVertexBot Disallow: /
Generá tu robots.txt completo, con todos los bots a la vez, en el generador, o auditá el que ya tenés en el checker.