El sitemap y los robots.txt son archivos que se incluyen dentro de una web, para controlar qué queremos que sea encontrado o visto en los buscadores web.
El sitemap es un archivo XML donde aparece un listado de todas las URLs (las direcciones de cada una de las páginas que hay dentro de una web) con datos concretos de cada una de ellas. Los datos más comunes son:
Gracias a este fichero, los robots de los buscadores pueden indexar mejor tu página, de forma rápida, sencilla e inteligente.
Los robots.txt son unos archivos de texto que añadimos en la raíz del directorio de nuestra página web, para evitar que sea rastreada completa o parcialmente por los buscadores.
Hay ocasiones en las que queremos que una página de nuestra web no sea rastreada ni indexada por los buscadores, ya sea porque está en construcción o porque contienen carpetas o archivos a los que no queremos que acceda cualquiera. Además, dentro de este archivo, añadimos la información de dónde está localizado el sitemap, para que todos los robots que pasen por ese archivo, sepan exactamente dónde encontrarlo.
Aquí puedes editar tus preferencias sobre las cookies de este sitio web.