ClaudeBot, Claude-SearchBot y Claude-User: qué bloquear

Anthropic, la empresa que hace Claude, visita las webs con tres robots distintos. Cada uno se controla con su propia regla en robots.txt, el archivo de texto en la raíz de tu dominio que indica a los robots qué pueden leer. Si solo quieres una cosa de este artículo, que sea esta:

• ClaudeBot recoge contenido que puede acabar en el entrenamiento de los modelos. Bloquearlo es una decisión sobre tus datos.
• Claude-SearchBot recoge contenido para mejorar los resultados de búsqueda de Claude. Bloquearlo puede restarte visibilidad en sus respuestas.
• Claude-User entra en tu web cuando una persona le pide a Claude algo que necesita leerla. Bloquearlo también puede restarte visibilidad.

Nuestra recomendación para casi cualquier pyme: deja pasar a Claude-SearchBot y a Claude-User, y decide sobre ClaudeBot con calma, porque es la única de las tres decisiones que no tiene que ver con aparecer en las respuestas, sino con el uso de tu contenido para entrenar. Y revisa que una regla genérica antigua no esté bloqueando a los tres sin que lo sepas, un error habitual.

01Qué hace cada robot, según Anthropic

La fuente que manda aquí es la página de ayuda de Anthropic sobre sus rastreadores, no los listados de terceros, que a menudo se quedan atrás. Esto es lo que dice de cada uno:

Hay dos matices que conviene leer despacio.

El primero: para ClaudeBot, Anthropic solo describe la consecuencia sobre el entrenamiento. No dice que bloquearlo te haga desaparecer de las búsquedas de Claude; eso lo asocia a los otros dos robots. Tampoco dice lo contrario de forma expresa, así que la lectura prudente es esta: con la documentación actual, cerrar la puerta a ClaudeBot no debería afectar a la búsqueda, pero no hay una garantía escrita.

El segundo: la palabra clave en el caso de ClaudeBot es futuro. Anthropic habla de materiales futuros, y nada en su página indica que el bloqueo retire lo ya recogido. Quien venda el bloqueo como una forma de «borrarse» de un modelo está exagerando.

02Un error habitual: bloquear a todos sin querer

No pocas webs tienen un robots.txt heredado con reglas pensadas para otra época. El caso típico es una regla genérica que cierra el paso a cualquier robot salvo a los que se nombran expresamente:

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

Con algo así, los tres robots de Anthropic quedan fuera, también los dos que sirven para que Claude te encuentre y te cite. Nadie lo decidió: simplemente nadie los añadió a la lista.

Otro caso frecuente es el contrario: reglas antiguas que nombran agentes que la documentación actual de Anthropic no menciona, como anthropic-ai o Claude-Web. La página oficial solo habla de ClaudeBot, Claude-SearchBot y Claude-User. Si tu archivo nombra los antiguos y no los actuales, no estás controlando lo que crees.

Qué hacer:

1. Abre tudominio.com/robots.txt en el navegador.
2. Busca una línea User-agent: * seguida de Disallow: /. Si existe, los tres robots están bloqueados salvo que tengan su propio grupo de reglas.
3. Busca los tres nombres actuales. Si no aparece ninguno, los tres siguen las reglas del grupo User-agent: *, si existe, y si no existe pueden entrar en todo.
4. Repite la comprobación en cada subdominio que te importe (tienda.tudominio.com, blog.tudominio.com). Anthropic indica que la regla hay que ponerla en el robots.txt de cada subdominio del que quieras excluirte: cada subdominio tiene su propio archivo.

03Tres configuraciones según lo que quieras

Quiero aparecer en Claude y no quiero que me usen para entrenar

Es la opción que más sentido tiene para la mayoría de negocios que dudan:

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

Las líneas Allow no son obligatorias si no hay ninguna regla genérica que bloquee, pero dejarlas escritas evita sustos el día que alguien añada un User-agent: * restrictivo.

Un detalle técnico que se olvida a menudo: un robot que tiene su propio grupo deja de seguir el grupo User-agent: *. Si en el genérico bloqueas carpetas como /admin/ o /carrito/, repite esos Disallow dentro del grupo de Claude-SearchBot y de Claude-User.

Me da igual que entrenen con mi contenido

Si tu web es de servicios, de producto o de marca, y lo que buscas es que te conozcan, no hay motivo para bloquear nada. Que un modelo haya leído tu página de servicios difícilmente te quita clientes. En ese caso basta con asegurarte de que ninguna regla genérica los deja fuera.

No quiero ninguna relación con Claude

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Claude-User
Disallow: /

Es legítimo, sobre todo si vives de vender tu contenido (un medio de pago, un curso, una base de datos). Pero ten claro el precio: según la propia Anthropic, puedes perder visibilidad cuando alguien pregunte a Claude por lo que haces.

04Nuestra postura: bloquear ClaudeBot es una decisión de negocio, no de SEO

Hay mucho ruido en torno a este tema, en las dos direcciones. Por un lado, quien dice que bloquear a los robots de IA es «suicidio SEO». Por otro, quien recomienda cerrarlo todo «por si acaso». Las dos posturas mezclan cosas que Anthropic ha separado a propósito.

Lo que tiene que ver con aparecer en las respuestas de Claude son Claude-SearchBot y Claude-User. Ahí, bloquear tiene un coste y casi ningún beneficio para una pyme: estás pidiendo que no te lean justo cuando alguien pregunta por algo que vendes.

ClaudeBot es otra conversación. La pregunta no es «¿me ayuda a posicionar?», sino «¿quiero que mi contenido alimente un producto de otra empresa sin contraprestación?». Para un medio, una editorial o cualquiera cuyo activo sea el texto, decir que no es razonable. Para una clínica dental o una tienda de recambios, el contenido de su web no es lo que venden, y bloquear aporta poco.

Un dato ayuda a poner esto en perspectiva. Cloudflare calculó en 2025 cuántas páginas pedían los robots de cada plataforma por cada visita que esa plataforma devolvía a las webs. Para Anthropic, en la semana del 19 al 26 de junio de 2025, la cifra fue de unas 70.900 peticiones por cada visita enviada.

Hay que leer esa cifra con cuidado. La propia Cloudflare advierte de que el cálculo puede exagerar la proporción, porque la aplicación nativa de Claude no envía la cabecera que identifica de dónde viene el visitante, y no sabe en cuánto. Además, es una foto de 2025 que agrupa a todos los robots de cada empresa. Aun así, sirve para entender por qué muchos editores sienten que dan mucho y reciben poco. No sirve, en cambio, como argumento para bloquear a Claude-SearchBot o a Claude-User, que son precisamente los que pueden traerte visitas.

05Lo que robots.txt no hace

Conviene no pedirle al archivo más de lo que puede dar:

• Es una petición, no un muro. Funciona con los robots que deciden respetarlo. Anthropic afirma que los suyos lo respetan y que no intentan saltarse los CAPTCHA, pero cualquier rastreador que se haga pasar por ClaudeBot puede ignorarlo.
• Para saber si una visita es de verdad de Anthropic, la empresa publica las direcciones IP de origen de sus robots en https://claude.com/crawling/bots.json. Si ves «ClaudeBot» en tus registros desde una IP que no está en esa lista, casi seguro que no es Anthropic.
• No bloquees por IP como sustituto de robots.txt. Anthropic avisa de que bloquear sus direcciones impide que sus robots lean tu robots.txt, así que tu exclusión puede no registrarse o no mantenerse.
• Si el problema es la carga del servidor, no hace falta bloquear: Anthropic admite la directiva Crawl-delay, que no forma parte del estándar, para pedir que espacien las visitas. Por ejemplo, Crawl-delay: 1 dentro del grupo de ClaudeBot.

06La señal común contra el entrenamiento: qué es y qué no es todavía

Desde el 30 de octubre de 2026, Anthropic reconoce una señal legible por máquina para indicar si aceptas o no que tu contenido se use para entrenar modelos de IA. Se basa en un borrador presentado en el IETF (el organismo que elabora muchos estándares de internet) por un autor de Anthropic. La sintaxis que propone el borrador es un grupo normal de robots.txt con un nombre especial en lugar del de un robot:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Este ejemplo, sacado del propio borrador, dice «no al entrenamiento» para toda la web salvo la carpeta /press-kit/. La idea es que la misma línea sirva para todas las empresas de IA que la adopten, en lugar de tener que nombrar a cada robot.

Lo que conviene saber antes de usarla:

• Es un borrador individual, no un estándar aprobado. Puede cambiar, y Anthropic avisa de que su forma de interpretarlo también puede cambiar.
• Solo habla de entrenamiento. El borrador dice expresamente que no es una directiva sobre el rastreo. No sustituye a las reglas de Claude-SearchBot o Claude-User.
• Una regla User-agent: * no cuenta como preferencia de entrenamiento según el borrador.
• Si nombras a ClaudeBot, manda esa regla. Anthropic indica que, para una misma ruta, la regla que menciona a ClaudeBot tiene prioridad sobre la señal general.

Nuestra opinión: añadirla no cuesta nada y no estorba, pero no la uses como única protección. Si no quieres que Anthropic entrene con tu contenido, la regla explícita para ClaudeBot sigue siendo la vía más clara.

07¿Y ChatGPT? La comparación que conviene hacer

OpenAI tiene un reparto parecido: GPTBot para entrenamiento, OAI-SearchBot para que tu web pueda aparecer en las búsquedas de ChatGPT y ChatGPT-User para las visitas que inicia un usuario. Según su documentación, cada ajuste es independiente: puedes permitir OAI-SearchBot para aparecer en las búsquedas y bloquear GPTBot para el entrenamiento.

Hay una diferencia que importa. OpenAI dice que, como las visitas de ChatGPT-User las inicia una persona, las reglas de robots.txt pueden no aplicarse. Anthropic no hace esa salvedad en su página: afirma en general que sus robots respetan robots.txt y describe el efecto de bloquear a Claude-User. Si tu intención es cerrar la puerta a las consultas en directo, en Claude la regla tiene un efecto descrito por la propia empresa; en ChatGPT, no está garantizado.

08Resumen para tu robots.txt

• Comprueba que ninguna regla genérica bloquea a Claude-SearchBot ni a Claude-User, en el dominio y en cada subdominio.
• Si no quieres que entrenen con tu contenido, bloquea ClaudeBot de forma explícita. No esperes que eso retire lo ya recogido.
• Sustituye las referencias a agentes que la documentación no menciona por los tres nombres actuales.
• No bloquees por IP; si te preocupa la carga, usa Crawl-delay.
• La señal común __usage_ai-training es un complemento, no un sustituto, mientras siga siendo un borrador.

Y una advertencia final: permitir el acceso no garantiza que Claude te cite. Solo evita que la puerta esté cerrada. Lo que te hace aparecer sigue siendo tener contenido útil sobre lo que la gente pregunta.