robots.ai_search_blocked
Si robots.txt bloquea a los rastreadores de búsqueda con IA (OAI-SearchBot, PerplexityBot, Claude-SearchBot).
Por qué importa
Algunos buscadores con inteligencia artificial (sus rastreadores OAI-SearchBot, PerplexityBot y Claude-SearchBot) tienen prohibido rastrear tu sitio, así que no podrán citarte en sus respuestas. Está bien si es una decisión tuya.
Cómo se corrige
Si quieres aparecer en esas respuestas, quita del robots.txt el bloqueo a OAI-SearchBot, PerplexityBot y Claude-SearchBot (o el «Disallow: /» general). Si es deliberado, no hace falta cambiar nada.
Paso a paso: el prompt para tu IA
Cuando Seotres encuentra este problema en tu web, te da un prompt listo para pegar en la IA que uses, con los datos de tu página. Este es el de esta regla con una web de ejemplo (tudominio.com):
Problema: el robots.txt bloquea a buscadores con IA, que no podrán citar la web en sus respuestas.
Datos de tu web: Aquí van la página y la evidencia que ha encontrado Seotres.
Objetivo
Decidir, preguntándome primero, si quiero que tudominio.com aparezca en las respuestas de los buscadores con IA; solo si sí, quitar el bloqueo de esos robots en https://tudominio.com/robots.txt.
Pasos
- Pregúntame antes de nada si el bloqueo es una decisión mía: puede ser deliberado, y entonces no hay nada que cambiar.
- Si quiero aparecer, quita del robots.txt el bloqueo de los robots de los datos de arriba (o el «Disallow: /» general que los alcanza), sin tocar los demás.
- Si la web es código propio o un servidor que gestionas: edita el archivo robots.txt de la raíz del sitio (o el código o la configuración que lo genera) y publícalo.
- Si usas WordPress: el robots.txt suele generarlo WordPress o el plugin SEO; busca en los ajustes del plugin SEO la opción de editar robots.txt o, si tu alojamiento lo permite, sube un archivo robots.txt a la raíz.
- Si usas Shopify: el robots.txt se personaliza desde el tema, con la plantilla robots.txt.liquid; no borres las reglas que trae Shopify por defecto.
- Si usas Wix, Squarespace u otro creador de webs: busca en los ajustes de SEO si permite editar el robots.txt; si no lo permite, dímelo y no intentes otra vía.
Límites
- No desbloquees robots de entrenamiento de IA ni otros distintos a los de los datos de arriba.
Términos de esta regla
- robots.txt
Archivo en la raíz de tu web que dice a los robots qué partes pueden rastrear y cuáles no.
Ejemplo: La línea «Disallow: /carrito/» pide a los robots que no entren en el carrito. Si el archivo da un error 4xx (salvo 429), Google rastrea sin restricciones; si da un error 5xx, deja de rastrear la web las primeras 12 horas y, durante los 30 días siguientes, usa la última versión buena. Si a los 30 días sigue fallando, actúa como si no hubiera robots.txt cuando el resto de la web responde, y deja de rastrear si la web también falla.
- Rastreador
Programa que recorre la web de forma automática, pasando de enlace en enlace, para descubrir y leer páginas.
Ejemplo: Googlebot es el rastreador principal de Google; Bingbot, el de Bing.
Fuente: Google Crawling Infrastructure: rastreadores y obtenedores de Google
- Disallow
Regla de robots.txt que pide a los robots que no rastreen las direcciones que empiezan por una ruta.
Ejemplo: «Disallow: /wp-admin/» seguido de «Allow: /wp-admin/admin-ajax.php» cierra el escritorio de WordPress y deja abierto el archivo que usan los temas.
Fuente: Google Crawling Infrastructure: cómo interpreta Google la especificación de robots.txt