El archivo robots.txt es un archivo de texto simple que dicta unos consejos de indexación y comportamiento a los rastreadores o robots de motores de búsqueda (¡cuidado! consejos pero no imposiciones). Los robots de los buscadores desean indexar cuanta más información mejor, por lo que cuando acceden a un sitio web, lo intentan rastrear todo.
El problema nace cuando se pretende evitar que ciertas páginas se indexen, ¿qué se debe hacer entonces? Existen 2 opciones: usar una etiqueta especial en cada página o usar un archivo centralizado para controlar la entrada. Esta última opción es la de robots.txt, qué es en lo que nos vamos a focalizar en este artículo.
Empecemos, ¿qué es el archivo robots.txt?
El Protocolo de exclusión de robots o REP se basa en una serie de patrones web que regulan el comportamiento de los robots y la indexación de los motores de búsqueda. El REP consta de lo siguiente:
- El REP original data de 1994 y se amplió en 1997, definiendo las pautas de seguimiento de robots.txt.
- En 1996, las pautas de indexación (etiquetas REP) se definieron para su uso en los meta elementos de los robots, también conocida como etiqueta meta robots. Estas etiquetas REP se pueden implementar en el encabezado HTTP de recursos que no sean HTML, como por ejemplo documentos PDF o imágenes.
- El microformato «rel-nofollow» aparece en 2005 y sirve para definir cómo los motores de búsqueda deben manejar los enlaces donde hay un el elemento A del tributo REL contiene el valor «nofollow».
¿Cómo se genera el archivo robots?
Lo primero que debes saber sobre el archivo robots.txt es que no es imperativo. Solo se necesita crear cuando se desea evitar que ciertas páginas o directorios de un sitio web aparezcan en los resultados de búsqueda. Generar el archivo es muy fácil, simplemente se crea con un documento de texto simple con el nombre «robots.txt» y seguidamente se debe subir a la carpeta raíz del dominio (http://www.example.com/robots.txt), siendo el lugar donde los motores de búsqueda esperan encontrarlo.
Contacta con la mejor agencia marketing digital en Barcelona y descubre mucho secretos más sobre como implementar una optima estrategia SEO, desde los aspectos más técnicos hasta los más simples. No olvidéis que también existe la posibilidad de desarrollar e implementar estrategias de campañas SEM Barcelona, las cuales os ayudarán a posicionaros en las primeras posiciones inmediatamente a través de pagos por puja.