Hasta ahora había publicado algunos tips para mejorar nuestro posicionamiento y lograr que google nos indexe.
Sin embargo a veces es necesario que no indexe todo, sino que se abstenga de incluir ciertas carpetas y páginas que deben estar ocultas a usuarios ajenos para esto hay que crear un archivo ROBOTS.TXT y subirlo en la carpeta principal de nuestro sitio (usualmente www y/o public_html).
En pocas palabras va a hacer lo opuesto a un sitemap indicando que NO indexar
¿Qué es robots.txt?
Este archivo permite dar ciertas directivas a los spiders de lo buscadores (google, yahoo…), podemos indicar que estas instrucciones sean para un spider específico por ejemplo:
1 | User-agent: * |
En este caso le decimos que las condiciones se aplique a todos, luego podemos decirle que no indexe la carpeta imagenes por ejemplo
y la pagina login.html
1 2 3 4 5 | User-agent: * Disallow: /login.html Disallow: /imagenes/ Disallow: /*/subcarpeta/ Disallow: * |
Existen otras opciones que puedes revisar en su WEB
recien me entero que robotstxt tenia su propia web
buena info