Surge AI ha presentado DAYJOB: Tax, un nuevo benchmark diseñado para evaluar la capacidad de los agentes de inteligencia artificial en tareas profesionales de impuestos. Esta herramienta, que se suma a las líneas anteriores de Healthcare y Finance, consta de 50 entornos que abarcan ocho áreas de la práctica fiscal, incluyendo impuestos individuales, pequeños negocios, inversiones y litigaciones. El objetivo es medir no solo el conocimiento técnico, sino también el juicio profesional, la capacidad de identificar problemas no explícitos por parte del cliente y la resolución de evidencias contradictorias.
El benchmark incluye 1.789 archivos de trabajo, con un promedio de 30 documentos por tarea, que van desde devoluciones fiscales hasta registros contables complejos. Según los resultados iniciales, Claude Sonnet 5.5 lidera la clasificación con una tasa de éxito del 10,8%, seguido por Claude Fable 5.1 (9,6%) y Claude Opus 5.5 (9,2%). La evaluación se basa en un umbral de rubrica del 95%, donde una tarea se considera aprobada si se cumple la mayoría de los criterios de cálculo, evidencia y entrega.
Un caso de estudio destacado involucra a una agente llamada Anna, que planea vender su condominio. Aunque el agente de IA identificó correctamente la fecha óptima para vender para maximizar la exención fiscal, omitió una fecha límite crítica: la pérdida de elegibilidad por la regla de residencia de dos de los cinco años. Este error podría haber costado a Anna una exención de hasta 250.000 dólares. El benchmark destaca la necesidad de que los agentes detecten problemas consecuentes incluso cuando el cliente no lo solicita explícitamente, diferenciándose de otros benchmarks que suelen partir de un problema definido.