robots.txt y sitemap explicados: la base para Google

robots.txt y el sitemap son dos archivos de texto sencillos que tienen un gran impacto en cómo Google rastrea y entiende tu web. Ambos están entre las primeras cosas que debería revisar cualquier chequeo básico.

¿Qué hace robots.txt?

Este archivo en tu-dominio.ch/robots.txt les dice a los rastreadores de los buscadores qué zonas de la web pueden visitar y cuáles no.

Un ejemplo típico

• User-agent: *
• Allow: /
• Disallow: /admin/
• Disallow: /interno/
• Sitemap: https://tu-dominio.ch/sitemap.xml

Esto permite a los rastreadores todo excepto el área de administración y la interna, y a la vez señala dónde está el sitemap.

El error más peligroso

"Disallow: /" sin más líneas bloquea la web completa para todos los buscadores. A veces pasa por accidente, cuando una configuración de desarrollo llega a producción.

¿Qué hace el sitemap?

El sitemap XML lista todas las páginas importantes de tu web en un solo lugar - incluida la fecha de última modificación. Eso ayuda a Google a encontrar contenido nuevo o modificado mucho más rápido, en vez de descubrirlo a duras penas siguiendo enlaces.

Cómo trabajan juntos

robots.txt controla qué se puede rastrear. El sitemap muestra qué se debe rastrear. Sin un bloqueo en robots.txt, Google suele encontrar el sitemap automáticamente - aun así vale la pena referenciarlo directamente en robots.txt y enviarlo además en Google Search Console.

Compruébalo tú mismo en segundos

Simplemente abre tu-dominio.ch/robots.txt y tu-dominio.ch/sitemap.xml en el navegador. Si aparece un error o una página vacía, falta uno de los dos archivos.