Noticias que mencionan GPQA Diamond

livenerf: benchmark determinista para detectar degradación de modelos de IA

livenerf es un benchmark de código abierto y de ejecución continua diseñado para detectar si los modelos de inteligencia artificial de frontera se deterioran de forma silenciosa tras su lanzamiento. La herramienta aborda la falta de una línea base estable y determinista, un problema crítico dado que

El coste de la inteligencia artificial cae un 13% anual

Un informe de Epoch AI, publicado por Emberson y Roodman, revela que el coste de alcanzar un nivel específico de rendimiento en inteligencia artificial ha descendido un promedio del 47% por trimestre durante los últimos tres años. Esta tasa de reducción equivale a una caída de 13 veces cada año, una

Cuantización de Qwen3.8 27B: 4 bits mantiene el rendimiento, 1 bit colapsa

Quesma Blog publica un análisis exhaustivo sobre cómo afecta la cuantización al rendimiento del modelo Qwen3.8 27B en distintas tareas. El modelo completo en BF16 ocupa 55 GB de VRAM, fuera del alcance de la mayoría del hardware de consumo. Los experimentos, ejecutados con llama.cpp sobre GPUs alqui

Los nuevos benchmarks visuales no miden bien la capacidad de la IA

La proliferación de demostraciones visuales en los lanzamientos de modelos de inteligencia artificial, como recrear Minecraft o dibujar un pelícano en bicicleta, ofrece resultados fáciles de compartir, pero no constituye una evaluación fiable de sus capacidades. El texto las denomina «benchmarks de

Artificial Analysis evalúa modelos pequeños para inferencia móvil

Artificial Analysis ha lanzado un sistema de benchmarking especializado en la inferencia de modelos de inteligencia artificial a escala de bolsillo, diseñados específicamente para ejecutarse en teléfonos móviles. Esta iniciativa técnica busca medir el rendimiento real de los modelos pequeños, defini