Cuando un webmaster observa en sus registros una avalancha atribuida al rastreador Googlebot, lo habitual es confiar en la cabecera HTTP que dice ser ese bot. Sin embargo, esa cabecera es una identificación voluntaria que cualquiera puede falsificar. Un reciente hilo en Hacker News recoge testimonios de operadores de sitios que han sufrido caídas de servicio por un tráfico masivo supuestamente procedente de Googlebot, usado incluso para alimentar sistemas de entrenamiento de inteligencia artificial.
La autora del artículo sostiene que buena parte de ese tráfico no procede de Google, sino de operadores maliciosos que suplantan el nombre de Googlebot para esquivar filtros anti-bot. Chris Siebenmann, de la Universidad de Toronto, apunta a una campaña coordinada a gran escala, protagonizada por un único actor que alquila servidores en múltiples proveedores de alojamiento. El problema se ha intensificado en los últimos meses.
Para distinguir un Googlebot real de uno falso, Google publica documentación oficial: hay que contrastar la IP con los rangos que la compañía tiene anunciados, o realizar resoluciones DNS inversas. También recuerda que las direcciones de Google LLC incluyen las de Google Cloud, por lo que la coincidencia no basta. Como solución de futuro, el texto menciona la propuesta Web Bot Auth, que añadiría firmas criptográficas a las peticiones para autenticar la identidad del bot. Otra iniciativa, JAFAR, trabaja en estandarizar listas de IPs de rastreadores.