robots.server_error
Que el robots.txt del sitio no responda con un error del servidor.
Por qué importa
Si el robots.txt responde con un error del servidor (5xx), Google no sabe qué puede rastrear y pausa el rastreo de todo el sitio hasta que vuelva a responder bien.
Cómo se corrige
Haz que /robots.txt responda siempre con 200 (o con 404 si no quieres tener ninguno). Revisa los registros del servidor para ver por qué falla esa dirección.
Paso a paso: el prompt para tu IA
Cuando Seotres encuentra este problema en tu web, te da un prompt listo para pegar en la IA que uses, con los datos de tu página. Este es el de esta regla con una web de ejemplo (tudominio.com):
Problema: el archivo robots.txt devuelve un error del servidor.
Datos de tu web: Aquí van la página y la evidencia que ha encontrado Seotres.
Objetivo
Que https://tudominio.com/robots.txt responda 200 con el archivo (o 404 si no quiero ninguno).
Pasos
- Abre /robots.txt en el navegador y mira qué responde. Si da un error del servidor, la causa está en el servidor, el CDN o un cortafuegos, no en el contenido del archivo.
- Revisa el registro de errores del servidor para ver por qué falla esa dirección y corrígelo.
- Si la web es código propio o un servidor que gestionas: edita el archivo robots.txt de la raíz del sitio (o el código o la configuración que lo genera) y publícalo.
- Si usas WordPress: el robots.txt suele generarlo WordPress o el plugin SEO; busca en los ajustes del plugin SEO la opción de editar robots.txt o, si tu alojamiento lo permite, sube un archivo robots.txt a la raíz.
- Si usas Shopify: el robots.txt se personaliza desde el tema, con la plantilla robots.txt.liquid; no borres las reglas que trae Shopify por defecto.
- Si usas Wix, Squarespace u otro creador de webs: busca en los ajustes de SEO si permite editar el robots.txt; si no lo permite, dímelo y no intentes otra vía.
Límites
- No crees un robots.txt con «Disallow: /» para salir del paso: prohibiría todo el sitio.
Términos de esta regla
- robots.txt
Archivo en la raíz de tu web que dice a los robots qué partes pueden rastrear y cuáles no.
Ejemplo: La línea «Disallow: /carrito/» pide a los robots que no entren en el carrito. Si el archivo da un error 4xx (salvo 429), Google rastrea sin restricciones; si da un error 5xx, deja de rastrear la web las primeras 12 horas y, durante los 30 días siguientes, usa la última versión buena. Si a los 30 días sigue fallando, actúa como si no hubiera robots.txt cuando el resto de la web responde, y deja de rastrear si la web también falla.
- 200
Código que dice «todo bien, aquí está la página». Es el que debe dar cualquier página que quieras en Google.
Ejemplo: Tu portada responde 200 y muestra tu web.
- 404
Código que dice «esta página no existe». Google no indexa las direcciones que responden 404.
Ejemplo: tudominio.com/producto-descatalogado responde 404 cuando borras el producto.
Fuente oficial
https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec