Un análisis detallado de los registros de Apache ha confirmado la existencia de un crawler web centralizado que opera desde la infraestructura de Contabo GmbH, un proveedor de servicios en la nube. A diferencia de los proxies residenciales, este sistema utiliza servidores virtuales dedicados para realizar solicitudes a un conjunto específico de direcciones IP. El autor del estudio, quien mantuvo un proyecto llamado Scraper Junkyard, documentó cómo este crawler accede a una estructura de árbol binario generada dinámicamente mediante un script en PHP. El sistema genera 1.048.578 páginas web interconectadas, donde cada página tiene un número de nodo que define sus enlaces a padres, hijos izquierdo y derecho. Al examinar los datos de tráfico, se identificaron patrones consistentes de solicitud: el crawler realiza series de peticiones concurrenciales que cubren niveles completos del árbol binario. Los datos indican una tasa de aproximadamente 4 solicitudes por segundo, con variaciones menores en periodos de superposición donde la velocidad aumenta. Además, se observó que las direcciones IP individuales realizan múltiplos de 101 peticiones, lo que sugiere una lógica de bucle con un error de un solo bit. Este estudio ofrece una visión técnica precisa del comportamiento de los bots de rastreo, destacando la regularidad en la velocidad y la estructura de los nodos visitados, lo cual permite inferir la arquitectura interna del software responsable de las solicitudes.
Noticias agregadas con IA