Es posible dirigir a los robots para rastrear determinadas páginas de su sitio web o para evitarlo. Verdaderamente usted puede hablar con los robots de los motores de búsqueda directamente desde un documento llamado robots.txt. This can drastically help you with your search engine optimization efforts. Esto puede ayudarle drásticamente con sus esfuerzos de optimización para motores de búsqueda (SEO).

Es fácil crear un documento de archivo robots.txt. Lo puede hacer con cualquier editor de texto como el Bloc de notas. Generalmente, un archivo robots.txt puede ser utilizado para el sitio entero, sin embargo, si hay páginas seguras en su sitio web entonces tendrá que haber otro para esas zonas. Cargue el archivo en el directorio raíz de su servidor y desde ahí controle su propio sitio.

¿Cual es el contenido qué debería ir en el archivo robots.txt?

Las instrucciones para las arañas de los motores de búsqueda, con las páginas que usted no desea que sean rastreadas, en algunos casos, que páginas si. Puede hacer sus instrucciones para que todos los robots o para arañas de motores de búsqueda específicos.

Digamos que usted desea detener el rastreo de una sección particular de su sitio web. Por ejemplo, la sección de Widgets. Si desea detener todos los motores de búsqueda de acceder a una página e indexarla entonces sólo se utiliza la siguiente frase en el archivo robots.txt:

User-agent: * Disallow: /widgets/ User-agent: * Disallow: / widgets /

Cada página dentro de esa sección no se rastrearía de ese punto en adelante. If you just want to keep Google from crawling those pages then you'd use the following phrase: Si sólo quiere mantener fuera el rastreo de Google en las páginas, tendrá que utilizar la siguiente frase:

User-agent: Googlebot Disallow: /widgets/ User-agent: Googlebot Disallow: / widgets /

Los códigos para otros motores de búsqueda son:

* Yahoo = Slurp Yahoo Slurp = * Microsoft = msnbot Microsoft = msnbot * Ask = Teoma Pregunte = Teoma

Hay mucho más que aprender acerca de los archivos robot.txt, pero esto puede servir como un primer acercamiento.