Evitar que google indexe ciertas páginas

Hasta ahora había publicado algunos tips para mejorar nuestro posicionamiento y lograr que google nos indexe.

Sin embargo a veces es necesario que no indexe todo, sino que se abstenga de incluir ciertas carpetas y páginas que deben estar ocultas a usuarios ajenos para esto hay que crear un archivo ROBOTS.TXT y subirlo en la carpeta principal de nuestro sitio (usualmente www y/o public_html).

En pocas palabras va a hacer lo opuesto a un sitemap indicando que NO indexar

¿Qué es robots.txt?

Este archivo permite dar ciertas directivas a los spiders de lo buscadores (google, yahoo…), podemos indicar que estas instrucciones sean para un spider específico por ejemplo:

En este caso le decimos que las condiciones se aplique a todos, luego podemos decirle que no indexe la carpeta imagenes por ejemplo
y la pagina login.html

Existen otras opciones que puedes revisar en su WEB