Meta solicita robots.txt de instancia Forgejo: ¿qué busca?

Fuentes: Meta's robots.txt obsession baffles instance owner

Meta (Facebook) ha estado realizando repetidas solicitudes al archivo robots.txt de una instancia auto-alojada de Forgejo desde hace al menos cuatro días. El propietario de la instancia, Mikko Ahlroth, ha observado que el agente de usuario es facebookexternalhit/1.1, y las solicitudes provienen de las direcciones IP de Meta. Lo peculiar es que Meta solo está solicitando el archivo robots.txt, sin acceder a otros archivos en el servidor.

Según la documentación de Meta, el facebookexternalhit se utiliza para rastrear contenido compartido en sus plataformas como Facebook, Instagram y Messenger, con el objetivo de recopilar información como el título, la descripción y la imagen en miniatura. Ahlroth, quien recibe muy poco tráfico en su instancia (principalmente de bots de IA y usuarios ocasionales), considera improbable que haya alcanzado un nivel de popularidad que justifique esta atención específica. Se plantea la posibilidad de un error en un bucle condicional dentro de Meta, lo que podría estar consumiendo una cantidad significativa de ancho de banda y energía a nivel global. Aunque el tráfico es actualmente benigno para el propietario, existe preocupación por un posible aumento en la intensidad.