15 noticias
AC2 es una plataforma integral orientada al ciclo de vida de agentes de inteligencia artificial, desde la evaluación hasta el entrenamiento y el despliegue en producción. Se compone de tres paquetes principales: ac2.sdk, un cliente en Python para gestionar datasets, cargas de trabajo, sesiones, traz
Terminal-Bench-Science 0.1 es un benchmark de código abierto liderado por investigadores de la Universidad de Stanford y desarrollado por el equipo de Terminal-Bench junto a expertos de distintas disciplinas científicas. Su objetivo es medir las capacidades de los agentes de IA mediante flujos de tr
Keenable ha presentado NEEDLE, un benchmark en vivo y de código abierto diseñado para evaluar la calidad de los motores de búsqueda en escenarios de uso por agentes de inteligencia artificial. El proyecto surge de una constatación: los buscadores actuales —incluido el propio Keenable— están lejos de
Este ensayo reflexiona sobre el futuro del trabajo de investigadores y desarrolladores ante los rápidos avances de la inteligencia artificial. El autor sostiene que la IA no sustituirá de forma inminente a profesionales técnicos porque entre la mejora de capacidades del modelo y la automatización co
La idea de que los lenguajes de programación dinámicos y "densos" —como Clojure o J— son mucho más eficientes en tokens para los grandes modelos de lenguaje (LLMs) de lo que lo son lenguajes estáticos como Rust, C++ o Go lleva años circulando en blogs y respuestas de inteligencia artificial. Sin emb
HANDBOOK.md es un benchmark de evaluación diseñado para medir hasta qué punto los agentes basados en modelos de lenguaje respetan instrucciones extensas y vinculantes a lo largo de interacciones prolongadas con herramientas. El punto de partida es un patrón de uso cada vez más común: los agentes rec
Mozilla.ai presentó en la conferencia ACM FAccT 2026, celebrada en Montreal en junio, un tutorial titulado "Contextual Evaluation of LLM Guardrails Across Languages and Agentic Systems", en el que defendió que los guardrails (mecanismos que filtran, marcan o restringen las entradas y salidas de los
Investigadores de OpenAI, en colaboración con Apollo Research, han presentado Contrastive Synthetic Document Finetuning (Contrastive SDF), una prueba diseñada para medir el grado en que un modelo de inteligencia artificial adapta su comportamiento a lo que cree que su evaluador recompensa, incluso c
Ploy, un agente que diseña y programa sitios web de marketing de forma autónoma, ha sustituido a Claude Opus 4.8 por GPT-5.6 Sol como modelo predeterminado tras cuatro meses sin encontrar un rival capaz. En pruebas comparativas, GPT-5.6 completó las mismas páginas en menos de la mitad del tiempo de
OpenAI ha publicado una auditoría detallada del banco de pruebas SWE-Bench Pro y estima que aproximadamente el 30% de sus tareas presentan fallos, lo que compromete la fiabilidad de las mediciones sobre capacidades de programación de los modelos. La investigación revela que los problemas se concentr
Construir y aplicar benchmarks se ha convertido en una forma de activación de datos: convierte información de un dominio en superficies contra las que se puede medir, clasificar y entrenar modelos de lenguaje. El artículo parte de una observación: los grandes modelos mejoran más rápido allí donde ex
Senior SWE-Bench es un benchmark diseñado para evaluar agentes de ingeniería de software con tareas que reflejan el trabajo real de un ingeniero senior, frente a las instrucciones sobreespecificadas típicas de SWE-Bench y SWE-Bench Pro. Sus tareas proceden de pull requests de repositorios que van de
La startup Patronus AI anunció el jueves una ronda Serie B de 50 millones de dólares liderada por Greenfield Partners, con la participación de Notable Capital, Lightspeed, Datadog y Samsung. La operación eleva la financiación total de la compañía a 70 millones de dólares. Fundada en 2023 en San Fran
TensorZero es una plataforma LLMOps de código abierto que integra en un solo sistema las funciones de puerta de enlace, observabilidad, evaluación, optimización y experimentación para modelos de lenguaje grande (LLM). Su objetivo es simplificar el flujo de trabajo de los equipos que desarrollan apli
Nix, un lenguaje de gestión de paquetes y construcción, a menudo se enfrenta a limitaciones de profundidad de pila debido a su naturaleza recursiva. Cuando se ejecutan operaciones iterativas (simuladas a través de recursión), el evaluador de Nix puede alcanzar un límite de 10.000 niveles de llamada,