Hoy vamos a utilizar una herramienta que nos permite generar un archivo llamado robots.txt que deberás subir por ftp en el directorio raiz de tu servidor para que cuando los robots de google ingresen, sepan que contenido tomar, y que NO.
Para ello, deberás entrar en el link que expongo a continuación, y hacer un listado de los directorios que NO queres que Google indexe. De ésta manera, todo lo restante, será exclusivamente lo que le ofrezcas al buscador para que tome tu contenido.
http://www.seochat.com/seo-tools/robots-generator/
Por ejemplo, en dattatec creamos un robots.txt que impide la visita de google a formularios y etc, para que no indexe contenido irrelevante, sino toda la información que un usuario pueda llegar a requerir.
Ariel Blanco
Dattatec .com
