software · 9 menciones
Parsimony es una métrica de evaluación diseñada para medir la eficiencia de los agentes de código generados por inteligencia artificial, específicamente enfocándose en la parsimonia o economía de código. A diferencia de los benchmarks tradicionales que priorizan la tasa de resolución y el coste, Par
Un nuevo estudio sobre el entrenamiento por refuerzo (RL) de modelos de lenguaje grandes (LLMs) identifica un sesgo conocido como el 'Efecto Mateo', donde las mejoras en el rendimiento son proporcionales a la competencia inicial del modelo. Este fenómeno explica por qué los problemas fáciles se resu
Google presenta Gemini 3.8 Flash y Gemini 3.8 Flash Cyber, su nuevo modelo de razonamiento y ciberseguridad Google ha dado un paso más en la carrera por la inteligencia artificial con el lanzamiento de Gemini 3.8 Flash y Gemini 3.8 Flash Cyber, dos variantes de un mismo modelo fundacional orientada
Unsloth ha presentado Dynamic v3.0, una nueva iteración de su sistema de cuantización para modelos de gran tamaño. La compañía publica los GGUF de Qwen3.8-27B bajo este esquema, que según sus pruebas internas ofrecen más de un 10% adicional de exactitud top-1% al mismo tamaño en disco frente a otras
Ornith-1.5 es una nueva familia de modelos de inteligencia artificial de código abierto que amplía el marco de auto-mejora presentado en Ornith-1.0 hasta convertirlo en un bucle completo: el propio modelo propone nuevas tareas, genera andamios (instrucciones, herramientas y estrategias de orquestaci
Esta entrada forma parte de una serie dedicada al análisis crítico de benchmarks, evals y diseño experimental, y plantea tres ejercicios con respuesta antes de que el lector los vea: uno sobre el repositorio Napkin Math, otro sobre los benchmarks DeepSWE y Senior SWE-Bench, y un tercero sobre la afi
Google publicó este 21 de julio un triple lanzamiento en su familia Flash: el modelo de uso general **Gemini 3.6 Flash**, la versión de alta densidad y bajo coste **3.5 Flash-Lite** y un **3.5 Flash Cyber** afinado para encontrar y parchear vulnerabilidades. El anuncio llega en general availability
FrontierCode es un nuevo benchmark diseñado por Cognition para evaluar si los modelos de inteligencia artificial son capaces de producir código que un mantenedor humano aceptaría en un repositorio de producción. Frente a pruebas anteriores como SWE-Bench Verified o Pro, que se centran casi exclusiva
DeepSWE, un nuevo benchmark desarrollado por Wenqi Huang y colegas, busca mejorar la evaluación de agentes de codificación de inteligencia artificial. Este nuevo conjunto de datos aborda las limitaciones de los benchmarks existentes, como la contaminación de datos y la falta de verificación fiable.
