robots.missing
Que el sitio tenga robots.txt.
Por qué importa
Tu sitio no tiene archivo robots.txt. Google lo interpreta como «todo permitido», así que no es un error, pero es el lugar donde se indica dónde está el sitemap y qué zonas no deben rastrearse.
Cómo se corrige
Crea un archivo /robots.txt con, como mínimo, «User-agent: *», «Allow: /» y la línea Sitemap con la dirección completa de tu sitemap.
Paso a paso: el prompt para tu IA
Cuando Seotres encuentra este problema en tu web, te da un prompt listo para pegar en la IA que uses, con los datos de tu página. Este es el de esta regla con una web de ejemplo (tudominio.com):
Problema: la web no tiene archivo robots.txt.
Datos de tu web: Aquí van la página y la evidencia que ha encontrado Seotres.
Objetivo
Que tudominio.com tenga un archivo https://tudominio.com/robots.txt con reglas mínimas y la línea Sitemap.
Pasos
- Pregúntame primero si quiero tenerlo: sin robots.txt, los buscadores pueden rastrear todo, y eso suele estar bien.
- Si lo quiero: propónme un robots.txt mínimo («User-agent: *», sin reglas que bloqueen páginas públicas y una línea «Sitemap:» con la dirección real, por ejemplo https://tudominio.com/sitemap.xml si existe) y espera a que lo apruebe.
- Si la web es código propio o un servidor que gestionas: edita el archivo robots.txt de la raíz del sitio (o el código o la configuración que lo genera) y publícalo.
- Si usas WordPress: el robots.txt suele generarlo WordPress o el plugin SEO; busca en los ajustes del plugin SEO la opción de editar robots.txt o, si tu alojamiento lo permite, sube un archivo robots.txt a la raíz.
- Si usas Shopify: el robots.txt se personaliza desde el tema, con la plantilla robots.txt.liquid; no borres las reglas que trae Shopify por defecto.
- Si usas Wix, Squarespace u otro creador de webs: busca en los ajustes de SEO si permite editar el robots.txt; si no lo permite, dímelo y no intentes otra vía.
Límites
- No inventes la dirección del sitemap: confirma que existe antes de escribirla.
- No añadas reglas «Disallow» que yo no haya pedido.
Términos de esta regla
- robots.txt
Archivo en la raíz de tu web que dice a los robots qué partes pueden rastrear y cuáles no.
Ejemplo: La línea «Disallow: /carrito/» pide a los robots que no entren en el carrito. Si el archivo da un error 4xx (salvo 429), Google rastrea sin restricciones; si da un error 5xx, deja de rastrear la web las primeras 12 horas y, durante los 30 días siguientes, usa la última versión buena. Si a los 30 días sigue fallando, actúa como si no hubiera robots.txt cuando el resto de la web responde, y deja de rastrear si la web también falla.
- Sitemap
Archivo con la lista de las páginas de tu web que quieres que los buscadores conozcan.
Ejemplo: tudominio.com/sitemap.xml con una entrada <loc> por cada página de producto.
- User-agent
Nombre con el que se identifica un robot. En robots.txt indica a qué robot se aplican las reglas que siguen.
Ejemplo: «User-agent: Googlebot» seguido de «Disallow: /pruebas/» solo afecta a Googlebot.
- Disallow
Regla de robots.txt que pide a los robots que no rastreen las direcciones que empiezan por una ruta.
Ejemplo: «Disallow: /wp-admin/» seguido de «Allow: /wp-admin/admin-ajax.php» cierra el escritorio de WordPress y deja abierto el archivo que usan los temas.
Fuente: Google Crawling Infrastructure: cómo interpreta Google la especificación de robots.txt
Fuente oficial
https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec