Sitemap y robots.txt: qué son y cómo revisarlos

Son dos archivos de texto que casi nadie ha abierto nunca y que deciden algo importante: qué páginas de tu web ve Google y cuáles no. Cuando están mal, pasan cosas raras —páginas que no aparecen nunca, otras que aparecen y no deberían— y nadie sabe por qué.

La buena noticia es que revisarlos no requiere ser programador. Se hace en cinco minutos y te vas a enterar de todo.

El sitemap: el índice que le das a Google

Un sitemap.xml es una lista de las páginas de tu web que quieres que Google conozca. Es como entregarle el índice de un libro en vez de obligarle a hojearlo entero.

No es obligatorio —Google encuentra páginas siguiendo enlaces— pero ayuda mucho si tu web es grande, es nueva, tiene páginas poco enlazadas o acabas de publicar contenido que quieres que se rastree pronto.

Lo que dice la documentación oficial de Google, por si alguien te cuenta otra cosa:

• Un sitemap no puede superar los 50 MB sin comprimir ni contener más de 50.000 URLs. Si te pasas, se divide en varios y se usa un índice de sitemaps.
• Se recomienda ponerlo en la raíz del sitio (tudominio.com/sitemap.xml): desde ahí cubre todo el dominio.
• Se le comunica a Google de tres formas: por Search Console, por la API, o referenciándolo dentro del robots.txt.

Cómo comprobar el tuyo ahora mismo: escribe en el navegador tudominio.com/sitemap.xml. Si sale una lista de direcciones, existe. Si sale un error 404, no lo tienes.

Lo que hay que mirar cuando lo abres:

• ¿Están todas tus páginas importantes? Servicios, contacto, artículos del blog.
• ¿Hay páginas que no deberían estar? Páginas de gracias, resultados de búsqueda interna, filtros, duplicados.
• ¿Las direcciones son las buenas? Con https, con o sin www según tu versión oficial, y sin acabar en 404 ni en redirección.

Si tu web está hecha con WordPress y tienes un plugin de SEO, el sitemap se genera solo. Si está hecha a medida, alguien lo tuvo que programar: comprueba que se actualiza cuando publicas.

El robots.txt: las señales de tráfico

El robots.txt es un archivo que va siempre en la raíz (tudominio.com/robots.txt) y le dice a los rastreadores por dónde pueden pasar. Sirve, en palabras de Google, para «gestionar el tráfico de los rastreadores a tu sitio».

Un robots.txt normal y sano de un negocio se parece a esto:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tudominio.com/sitemap.xml

Traducido: «cualquier rastreador puede entrar en todo menos en el panel de administración, y el índice está aquí».

El malentendido que hunde webs

Aquí está el error más caro del SEO técnico, y Google lo avisa en su propia documentación: el robots.txt no sirve para que una página no aparezca en Google.

Bloquear una página en robots.txt impide que la rastreen, pero no impide que la indexen: si otra web enlaza a esa página, Google puede mostrarla igualmente en los resultados, y encima sin descripción, porque no ha podido leerla. El resultado es el peor de los dos mundos.

Si de verdad quieres que una página no salga en Google, se usa la etiqueta noindex en esa página —y precisamente para que Google la lea, la página no puede estar bloqueada en robots.txt. Suena contradictorio y es la causa de la mitad de los líos que nos encontramos.

Los tres desastres clásicos

1. Disallow: / a secas. Esa línea bloquea la web entera. Aparece cuando alguien pasa de un entorno de pruebas a producción y se olvida de quitarla. Si tu web dejó de aparecer en Google de un día para otro, mira esto lo primero.
2. Bloquear CSS y JavaScript. Google necesita renderizar la página para entenderla. Si le tapas los estilos, la ve rota.
3. Poner ahí páginas «privadas». El robots.txt es público: cualquiera puede leerlo. Listar /clientes-privado/ es enseñar dónde está la puerta.

La revisión de cinco minutos

Hazla hoy y apúntala para repetirla cada seis meses:

1. Abre tudominio.com/robots.txt. Comprueba que no hay un Disallow: / suelto y que aparece la línea del Sitemap:.
2. Abre tudominio.com/sitemap.xml. Cuenta por encima si están tus páginas clave.
3. Entra en Search Console → Sitemaps y mira que esté enviado y en estado «Correcto». Si no sabes moverte por ahí, te lo explico en Search Console para principiantes.
4. En Search Console → Páginas, mira cuántas están indexadas y cuántas no, y por qué motivo. Los avisos de «Bloqueada por robots.txt» y «Detectada, actualmente sin indexar» son los que te interesan.
5. Usa la Inspección de URLs con dos o tres páginas importantes para confirmar que Google puede rastrearlas.

Si aparecen páginas fuera del índice, el problema rara vez es solo el robots.txt: suele ser una mezcla de rastreo, calidad y enlaces internos. Lo desmenuzo en indexación en Google: por qué tus páginas no aparecen.

Cuándo estos dos archivos importan de verdad

• Cuando lanzas web nueva. Es el momento donde más veces se queda puesto el bloqueo del entorno de pruebas.
• Cuando migras. Cambiar de dominio o de estructura sin revisar estos archivos es la receta de la caída de tráfico; los pasos completos están en migrar tu web sin perder posiciones.
• Cuando tienes muchas páginas. Tiendas online con filtros generan miles de URLs basura que se comen el presupuesto de rastreo.
• Cuando algo dejó de funcionar y nadie sabe por qué. Es de lo primero que miramos, junto al resto de errores de SEO que hunden una web.

En una frase

El sitemap dice «mira aquí» y el robots.txt dice «por aquí no pases». Ninguno de los dos hace que subas posiciones por sí solo, pero los dos mal puestos son capaces de dejarte invisible sin que te enteres.

Si quieres que alguien lo revise a fondo —junto con lo demás que decide si apareces o no—, es parte de lo que hacemos en posicionamiento SEO en Zaragoza: auditoría técnica, corrección y seguimiento en Search Console.

¿Sospechas que tu web tiene alguna puerta cerrada por error? Mándanos tu dirección y le echamos un vistazo.