Robots txt VS Metaetiqueta robots.
Indexar, sí… pero… ¿todo?
Antes de nada, deciros que esta es una cuestión real que me planteó, no hace mucho, una persona a nivel de consultoría.
En realidad, no sabía que paginas tenia indexadas y cuales no, debido a un plagin que utiliza para gestionar diferentes contenidos que solo son accesibles tras el pago de una cuota o membresía.
La cuestión era que no sabia si, y de cara a «reformar» la web próximamente, esto podía afectar al SEO.
A ver, por comenzar por el principio, nuestro objetivo debe de ser, siempre, indexar el máximo de contenido, es decir, el máximo de páginas posible.
Pero… Quieto Ahí! ¿El máximo de páginas posible? Noooo!!! el máximo de contenido posible, y me explico.
La idea es indexar contenido de interés para el usuario, genuino, fresco, actualizado… de calidad. Dicho esto la pregunta se responde por si sola.
Las páginas que carecen de interés y que incluyen un contenido pobre, no van a ser posicionables, con lo cual es recomendable no indexarlas.
Y…¿Por qué? Pues muy sencillo, los bots archivan la totalidad de la cantidad de contenido indexado y calculan la relación de «contenido bueno y malo», a partir de ahí, unos complejos algoritmos deciden cual es la relación entre uno y otro, y como consecuencia, calculan nuestra puntuación.
Es decir, indexar muchas páginas con contenido de baja calidad nos hará disminuir nuestro ranking SEO.
Y por si esto fuera poco, el contenido de mala calidad o de dudosa reputación es penalizable…
En este ejemplo se puede ver claramente como una página que presenta un contenido no interesante y de pobre calidad, se decide no indexar mediante la utilización de la metaetiqueta robos noindex.
Diferencia Robots txt VS metaetiqueta Robots
lo primero que tenemos que tener claro es la diferencia entre:
Conclusión: Ojo, con el archivo robots.txt la página no es indexada y tampoco es rastreada, con lo cual todo los enlaces pierden su valor, ya que el sistema de rastreo de los bots es a través de los enlaces.
Por contra utilizando la etiqueta meta robots, la página no será indexada, pero sí rastreada por el buscador, siguiendo los enlaces hacia otras páginas y transmitiendo el valor de dichos enlaces.
Los buscadores están ávidos de contenido, es decir, son «avariciosos» y, como consecuencia, por defecto tienden a indexar todo el contenido que se encuentran en la red. (esto es bueno y malo, depende…)
La utilización del documento Robots txt impide la indexación de una página, pero, además, también impide el rastreo de los enlaces a diferentes páginas, consecuentemente, finaliza el rastreo en ese punto.
Resumiendo, utilizando la metaetiqueta robots, con la versatilidad que nos ofrece sus variantes , podremos decidir en cada una de las páginas que queremos hacer con ella, por lo tanto se convierte en la mejor solución.
- Usar meta robots para forzar la no indexación de páginas: de paginación, paginas sin contenido y poco relevantes.
- Usar Etiquetas «noindex» y «nofollow» en páginas de bajo rendimiento, evitando así, duplicaciones futuras.
