La desindexación de un sitio web de motores de búsqueda como Google requiere una configuración técnica específica que a menudo se malinterpreta. Un usuario documentó su experiencia al intentar eliminar su blog de los índices de búsqueda debido a la preocupación por el scraping de contenido para inteligencia artificial. El proceso comenzó con la implementación de una regla de prohibición general en el archivo robots.txt, que impide el acceso a todos los bots. Sin embargo, esta medida resultó ineficaz, ya que los bots de indexación necesitan visitar la página para detectar las instrucciones de no indexación.
La solución efectiva consiste en permitir el acceso a los bots de indexación específicos, como Googlebot, mientras se bloquean el resto de la web. Esto se logra mediante una configuración híbrida: se permite el tráfico de Googlebot en el robots.txt y se añade la etiqueta meta 'noindex, nofollow' en el código HTML de la página. Este enfoque permite que el bot de Google lea la instrucción de no indexar, pero impide que otros bots o usuarios accedan al contenido. El autor de la entrada, tras tres meses de ajustes, confirmó que su sitio ya no aparece en los resultados de búsqueda de Google, destacando la importancia de entender la lógica de los bots de indexación para gestionar la visibilidad web.