Hightouch ha publicado un análisis técnico que evalúa la capacidad de los modelos de lenguaje de gran escala (LLM) y los modelos de decisión para resolver el problema de la resolución de identidad (Identity Resolution, IDR). El objetivo es determinar si estas herramientas pueden auditar con precisión los resultados de los sistemas de IDR, un proceso crítico para mapear registros de datos a personas reales, fundamental para la personalización y el análisis de clientes.
El estudio compara el rendimiento de modelos de frontera, como Claude Opus 5.5 y Gemini 3.1 Pro, con modelos de decisión más económicos, específicamente Jev y Luna. Los resultados indican que, aunque los modelos de frontera alcanzan una precisión superior (hasta el 99%), los modelos de decisión ofrecen una eficiencia significativamente mayor. Jev y Luna son hasta 90 veces más baratos y más de 10 veces más rápidos que los modelos de frontera. En un entorno de producción, un modelo de decisión puede procesar 1.000 identidades en aproximadamente 0,15 segundos con un coste de entre 0,10 y 0,50 dólares.
Un hallazgo clave es la calibración de la confianza: Jev presenta una confianza mejor calibrada, mientras que Luna tiende a sobreestimar su certeza en errores. Esto permite la creación de un modelo híbrido que combina Jev con Opus, logrando una precisión de frontera con un coste superior a cuatro veces inferior. El artículo detalla cómo se implementó esta evaluación utilizando datos simulados de la Universidad de Washington, incluyendo errores comunes de entrada de datos como tipografías, fechas incorrectas o nombres similares, para medir la capacidad de los modelos para detectar el sobre-fusión de identidades sin necesidad de claves de respuesta humanas.