El archivo robots.txt se utiliza con el fin de esconder de los robot de búsqueda ciertas páginas individuales, enlaces o carpetas para que no sean indexadas y para que no se muestren en resultados de búsquedas que se realizan en Internet.

Si un sitio Web utiliza scripts – también es aconsejable no permitir que la carpeta con los scripts sea indexada. Hay también muchas otras situaciones cuando hace falta ocultar ciertos archivos y carpetas para que no aparezcan libremente en resultados de búsquedas.

La utilización del archivo robots.txt facilita a los motores de búsqueda la indexación del contenido temático del sitio, porque al robot del buscador se le indica directamente el itinerario, dónde tiene que buscar y evita la pérdida de tiempo para rastrear todos los archivos y carpetas que componen un sitio Web.

El archivo robots.txt puede incluir una o más instrucciones.
Cada una de estas instrucciones se separa de la otra por una fila vacía.
Además, cada instrucción se compone de dos partes. La primera parte de las instrucciones indica, qué motor de búsqueda tiene que respetar la instrucción y la segunda parte – qué es lo que no hay que indexar.

En la primera parte se escribe: User-Agent: (nombre del motor de búsqueda). Si la instrucción se aplica a todos los motores de búsqueda, podemos escribir User-agent: *.

La segunda parte incluye la palabra Disallow, es decir, “prohibir”. Si deseas prohibir la indexación en todo el sitio Web, tienes que escribir Disallow: / 
Pero si permites que tu sitio Web sea indexado por completo – después de la palabra Disallow: debe seguir el vacío.

Puedes especificar qué carpetas (Disallow: / nombre de la carpeta /) o archivos (Disallow: / nombre del archivo y su extensión ) no deben ser indexados. También en el archivo robots.txt, puedes añadir comentarios, la línea debe comenzar con un comentario de #.

Ejemplos de los archivos robots.txt:

# Permitir a indexar todas las páginas a todos los motores de búsqueda
User-agent: *
Disallow:

# Prohibir indexar todas las páginas a todos los motores de búsqueda:
User-agent: *
Disallow: /

# Prohibir al robot de Google ver a la carpeta http://nombre-del-sitio.com/test/
# Y el fichero http://nombre-del-sitio.com/print.html
User-agent: Google
Disallow: / test /
Disallow: / print.html

Prohibir # ver robots
# Google y Aport http://nombre-del-sitio.com/temp/img/
User-agent: Aport
User-agent: Googlebot
Disallow: / temp / img /

Es muy importante tener en cuenta lo siguiente: el uso incorrecto del archivo robots.txt puede producir muchos daños irreparables al propietario del sitio si no toma precauciones necesarias. El hecho de que en el sitio Web exista el archivo robots.txt puede despertar curiosidad de personas malintencionadas y curiosas. Porque este archivo puede ser fácilmente visualizado al escribir en el navegador la siguiente dirección: http://www.Nombre-de-Dominio.com/robots.txt. Al ver el contenido de este archivo, se podrían localizar fácilmente los archivos que intentamos a esconder escribiendo en el navegador: http://www.Nombre-de-Dominio.com/carpeta/.

Una de las formas para evitar esto – es colocar en cada carpeta del sitio Web un archivo index con cualquier extensión: index.htm. html,. phtml,. shtml,. xml,. php,. asp,. pl.

Hay también otro modo para proteger de indexación una página, utilizando la Meta-tag:
«Meta name =”robots”content =”instrucciones separadas por coma”

Las instrucciones pueden ser las siguientes:

INDEX – permiso para indexar;
NOINDEX – Prohibición para indexar páginas;
FOLLOW – permiso para indexar los vínculos situados en esta página;
NOFOLLOW – prohibición para indexar los vínculos en esta página;
NONE – pasar por alto esta página, es decir no indexarla de ninguna forma (es decir, NOINDEX, NOFOLLOW);
ALL – permiso para la indexación de la página y de todos los enlaces que contiene (es decir: INDEX, FOLLOW).

Espero que te sirva esta información. Agradecería tu comentario.
Muchos éxitos!

Fuente del artículo: Información recopilada de internet
—————————–

Recursos Recomendados:
1. Autoresponder Ilimitado Profesional Totalmente en Español – consigue TU herramienta de trabajo IMPRESCINDIBLE y Gana 50% de comisión por referencias desde tu enlace de afiliado;
2.  ¿Necesitas un sitio Web? – Consíguelo GRATIS
3.  Suscríbete al Mini Curso GRATIS “Las Llaves del Éxito de los millonarios” y aprende los pasos justos que tienes que realizar para conseguir cuanto antes tu éxito en Internet; Todos los suscriptores del Portal tienen acceso Gratis a la Zona Privada
4. Descubre el poder de los libros electrónicos virales para la generación de tráfico Web calificado:
http://www.infobusiness-lady.com/ebook/
5. Crea fácilmente tu sitio Web Al Instante
_______________________
Nota: Tienes mi permiso para republicar este artículo, siempre y cuando mantengas intacto el contenido e incluyas el siguiente bloque de Firma:

Más artículos sobre aspectos de Diseño Web: