Sitemap y Robots.txt

El sitemap y los robots.txt son archivos que se incluyen dentro de una web, para controlar qué queremos que sea encontrado o visto en los buscadores web. 

El sitemap es un archivo XML donde aparece un listado de todas las URLs (las direcciones de cada una de las páginas que hay dentro de una web) con datos concretos de cada una de ellas. Los datos más comunes son:

  • Última actualización
  • Frecuencia de actualización 
  • Importancia de la página con respecto al resto

Gracias a este fichero, los robots de los buscadores pueden indexar mejor tu página, de forma rápida, sencilla e inteligente.

Los robots.txt son unos archivos de texto que añadimos en la raíz del directorio de nuestra página web, para evitar que sea rastreada completa o parcialmente por los buscadores.

Hay ocasiones en las que queremos que una página de nuestra web no sea rastreada ni indexada  por los buscadores, ya sea porque está en construcción o porque contienen carpetas o archivos a los que no queremos que acceda cualquiera. Además, dentro de este archivo, añadimos la información de dónde está localizado el sitemap, para que todos los robots que pasen por ese archivo, sepan exactamente dónde encontrarlo.

¿Tienes alguna duda?

Contactar
cross-circle linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram