meta tag robots
Una de las maneras mas efectivas de controlar los robots, es mediante el archivo de robots o el uso del “meta tag robots”.
El “Robots meta tag” es un mecanismo sencillo que permite controlar a los robots cuando visitan a una página (ya sea para que no indexen el contenido de la misma, o para que no tengan en cuenta los links que encuentre).
Al igual que otros metas, se debe colocar dentro de la sección “HEAD” del documento.
La sintaxis formal para el”Robots meta tag” es la siguiente:
content = all | none | directivesall = "ALL"none = "NONE"directives = directive ["," directives]directive = index | followindex = "INDEX" | "NOINDEX"follow = "FOLLOW" | "NOFOLLOW"
Obviamente, se debe evitar especificar directivas contrárias tales como:
<meta name="robots" content="INDEX,NOINDEX,NOFOLLOW,FOLLOW,FOLLOW">
Algunos ejemplos:
<meta name="robots" content="index,follow">--> Indexa el contenido, y sigue todos links dentro del mismo<meta name="robots" content="noindex,follow">--> NO indexa el contenido, pero sigue los enlaces<meta name="robots" content="index,nofollow">--> Indexa el contenido, pero no sigue los enlaces<meta name="robots" content="noindex,nofollow">--> No indexa el contenido y tampoco indexa los enlaces.
Algunas equivaléncias:
- ALL == index,follow
- NONE == noindex,nofollow
En fin, espero que os sea útil 
