Un desarrollador probó el sistema de seguimiento de candidatos (ATS) de código abierto que HackerRank publicó recientemente en GitHub y comprobó que, al ejecutar cien veces el mismo currículum, las puntuaciones oscilaron entre 66 y 99 sobre 100. Con un corte de 85 puntos, el CV hubiera sido rechazado en 65 de cada 100 intentos sin haber cambiado una sola línea. La herramienta divide la nota en cinco bloques: 35 puntos para contribuciones open source, 30 para proyectos personales, 25 para experiencia laboral, 10 para habilidades técnicas y hasta 20 puntos extra por experiencia en startups, portfolio o blog técnico.
El análisis por categorías muestra que las habilidades técnicas son casi deterministas (8/10 en 98 de 100 ejecuciones) porque se evalúan como una lista de cotejo, mientras que los proyectos personales presentan variaciones enormes, ya que un modelo de lenguaje juzga si demuestran "complejidad arquitectónica" o "despliegue real". La sección de experiencia, sin embargo, otorgó 25/25 en todas las ejecuciones, tanto a un currículum con una sola prácticas como al del propio autor, porque el prompt consta solo de dos líneas sin rúbrica ni ejemplos. Otro usuario ya había documentado en octubre resultados de 27, 34, 32, 34, 34 y 30 en seis corridas consecutivas con temperatura 0, lo que apunta a que la falta de determinismo no se corrige bajando ese parámetro. Cambiar el modelo local gemma3:4b por Gemini estrechó la distribución entre 48 y 64, pero con un corte de 60 todavía se suspende al 28% de los candidatos por azar.
El peso combinado de open source y proyectos alcanza el 65% de la nota, lo que penaliza a ingenieros senior cuyo trabajo no acabó en GitHub. El autor advierte de que un ATS incapaz de diferenciar calidad solo filtra, y pide cautela a quienes decidan sobre herramientas de cribado con IA en sus empresas.