index.robots_blocked
Si robots.txt impide a Googlebot leer la página.
Por qué importa
Si el archivo robots.txt prohíbe esta dirección a Googlebot, Google no puede leer la página: no ve su contenido ni sus etiquetas y, como mucho, la muestra sin descripción.
Cómo se corrige
Revisa las líneas Disallow de tu robots.txt y quita o acota la que afecta a esta dirección. Para mantener una página fuera de Google no uses robots.txt: usa noindex.
Paso a paso: el prompt para tu IA
Cuando Seotres encuentra este problema en tu web, te da un prompt listo para pegar en la IA que uses, con los datos de tu página. Este es el de esta regla con una web de ejemplo (tudominio.com):
Problema: el robots.txt impide a Google leer esta página.
Datos de tu web: Aquí van la página y la evidencia que ha encontrado Seotres.
Objetivo
Que https://tudominio.com/robots.txt deje a Googlebot leer https://tudominio.com/, si esa página debe salir en Google.
Pasos
- Pregúntame si esa página debe salir en Google. Si es privada, el bloqueo puede ser correcto.
- Si debe salir: busca en el robots.txt el Disallow que cubre su ruta (en el grupo «User-agent: Googlebot» o en «User-agent: *») y ajústalo, o añade un «Allow:» más concreto.
- Ojo: el robots.txt no sirve para sacar una página de Google; para eso se usa noindex con el rastreo permitido.
- Si la web es código propio o un servidor que gestionas: edita el archivo robots.txt de la raíz del sitio (o el código o la configuración que lo genera) y publícalo.
- Si usas WordPress: el robots.txt suele generarlo WordPress o el plugin SEO; busca en los ajustes del plugin SEO la opción de editar robots.txt o, si tu alojamiento lo permite, sube un archivo robots.txt a la raíz.
- Si usas Shopify: el robots.txt se personaliza desde el tema, con la plantilla robots.txt.liquid; no borres las reglas que trae Shopify por defecto.
- Si usas Wix, Squarespace u otro creador de webs: busca en los ajustes de SEO si permite editar el robots.txt; si no lo permite, dímelo y no intentes otra vía.
Límites
- No abras zonas privadas para arreglar esta página.
Términos de esta regla
- robots.txt
Archivo en la raíz de tu web que dice a los robots qué partes pueden rastrear y cuáles no.
Ejemplo: La línea «Disallow: /carrito/» pide a los robots que no entren en el carrito. Si el archivo da un error 4xx (salvo 429), Google rastrea sin restricciones; si da un error 5xx, deja de rastrear la web las primeras 12 horas y, durante los 30 días siguientes, usa la última versión buena. Si a los 30 días sigue fallando, actúa como si no hubiera robots.txt cuando el resto de la web responde, y deja de rastrear si la web también falla.
- Googlebot
El rastreador de Google: el robot que visita tus páginas para que puedan aparecer en la Búsqueda de Google.
Ejemplo: Si tu robots.txt tiene «User-agent: Googlebot» y «Disallow: /», Googlebot no rastrea nada de tu web.
Fuente: Google Search Central: Googlebot
- Meta description
Resumen de la página que pones en el HTML. Google puede usarlo como texto de tu resultado.
Ejemplo: <meta name="description" content="Zapatillas de running con envío gratis en 24 h.">
Fuente: Google Search Central: cómo controlar los fragmentos (snippets) en los resultados de búsqueda
- Disallow
Regla de robots.txt que pide a los robots que no rastreen las direcciones que empiezan por una ruta.
Ejemplo: «Disallow: /wp-admin/» seguido de «Allow: /wp-admin/admin-ajax.php» cierra el escritorio de WordPress y deja abierto el archivo que usan los temas.
Fuente: Google Crawling Infrastructure: cómo interpreta Google la especificación de robots.txt
Fuente oficial
https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec