¿Cómo hacer una estrategia de SEO con el archivo robots.txt?

El archivo robots.txt puede ofrecernos toda una serie de ventajas para poder posicionarnos frente a nuestra competencia. Seguramente sea un archivo al que no le ha prestado toda la atención que deberías… Y esto es un error.

Las agencias de SEO de las webs http://www.posicionamientoseoweb.es y la de la URL http://agenciaseosem.net/  nos dan la siguiente información sobre robots:

¿Qué es exactamente y para que se utiliza?

Es un archivo muy especial en donde vas a encontrar algunas indicaciones que los robots de Google y los diferentes buscadores se van a encargar interpretar. Gracias a él podemos especificar qué contenido queremos que rastree y cuál no. Los robots no son más que unos programas que han sido diseñados para obtener información de todas las webs.
En el momento en el que un robot visita una web, lo primero que revisar es el archivo robots.txt (en el caso de que exista). De esta forma sabrás a qué zonas pueda acceder y de cuales tiene que alejarse.

¿Viene incluido en cualquier servidor?

Puede venir o no incluido, esto dependerá realmente del servidor. Ahora bien, nosotros podemos crearlo sin ningún tipo de problema.
Lo primero que tenemos que hacer es coger un editor de texto plano, lo más común es utilizar el blog de notas, y luego seguir unas indicaciones específicas para poder indicar todas las normas que se deben seguir.
Tienes que tener en cuenta que hay que colocarlo en la raíz del servidor, si lo metemos dentro de algún directorio, los robots no serán capaces de interpretarlo.
La sintaxis que tenemos que utilizar para crear el archivo es esta:

User-agent: nombre-del-bot (aquí escribiremos el nombre del robots al que va dirigido la siguiente directriz).
Directiva: contenido-de-la-directiva (en este caso escribiremos la orden que tendrán que interpretar; puede ser, por ejemplo, Allow para permitir, Disallow para denegar, así como otros comandos de utilidad).
Sitemap (aquí podemos indicar a los robots la URL exacta de donde se encuentra el sitemap de nuestro sitio; una buena manera para que puedan orientarse mejor y ofrecer a nuestros visitantes los mejores resultados).

Leave a Reply