60 noticias
El artículo propone una regla práctica para determinar la duración óptima de los microbenchmarks en el desarrollo de software. El autor sugiere ajustar el tamaño de la entrada hasta que el tiempo de ejecución se sitúe aproximadamente en 300 milisegundos. Esta recomendación se basa en cuatro razones
MicroLLM lab es una plataforma web diseñada para evaluar el rendimiento de modelos de lenguaje de gran escala (LLM) de tamaño reducido, como los de 135 millones de parámetros. A diferencia de las métricas tradicionales centradas en la calidad literaria o creativa, esta herramienta se basa exclusivam
El artículo técnico 'Tuning a Server for Benchmarking' de David Álvarez Rosa detalla un procedimiento sistemático para minimizar la variabilidad en las mediciones de rendimiento de software. El objetivo principal no es maximizar la velocidad bruta, sino garantizar la reproducibilidad de los resultad
El equipo de Wild ha publicado un análisis técnico para explicar la discrepancia en los resultados de rendimiento entre su propio linker y Mold, tras la inclusión de Wild en los benchmarks de Mold. Aunque Wild ha mejorado significativamente su velocidad en las últimas actualizaciones, los benchmarks
Benzi presenta una comparativa técnica detallada de su harness de inteligencia artificial para la corrección de errores de código, midiendo su rendimiento contra herramientas principales como Claude Code y DeepSeek Harness. La evaluación se basa en 24 issues reales de GitHub escritos en 10 lenguajes
Un spin-lock es el cerrojo de sincronización más simple que existe: en lugar de dormir y ceder el control al planificador del sistema, el hilo que lo espera permanece en la CPU girando en un bucle vacío. Esto evita llamadas al sistema y cambios de contexto, a cambio de quemar tiempo de procesador. E
Un programador analiza tres formas de ordenar colecciones de cadenas en Rust sin distinguir entre mayúsculas y minúsculas, comparando su rendimiento con un benchmark reproducible. El primer enfoque emplea `sort_by_cached_key` combinado con `to_lowercase()`, que calcula la clave en minúsculas una sol
OpenAI lanzó GPT-6 Astra, un nuevo modelo que destaca por su eficiencia en tareas de programación pero que llega acompañado de una subida significativa de precio respecto a su predecesor. En el Artificial Analysis Coding Agent Index, GPT-6 Astra obtiene 67 puntos en Codex, igualando a Claude Opus 5,
Un programador con una década de experiencia en planificadores de tareas evaluó empíricamente el planificador interno de Cargo, el sistema de construcción de Rust, y comprobó que un sencillo algoritmo greedy basado en el b-level (longitud de la cadena crítica pendiente) lo supera de forma consistent
K-Veritas Go es una herramienta de línea de comandos, escrita en Go y distribuida como binario estático sin dependencias, que firma criptográficamente los resultados de experimentos computacionales y los publica en un PDF verificable por terceros. Su objetivo es atar de manera indisoluble el resulta
Artificial Analysis ha lanzado un sistema de benchmarking especializado en la inferencia de modelos de inteligencia artificial a escala de bolsillo, diseñados específicamente para ejecutarse en teléfonos móviles. Esta iniciativa técnica busca medir el rendimiento real de los modelos pequeños, defini
scheme-rs es una implementación de Scheme escrita en Rust cuyo autor decidió el 31 de diciembre de 2024 transformar su intérprete basado en AST en un compilador JIT con representación intermedia en CPS (Continuation-Passing Style). El objetivo principal era hacer mecánica la creación de continuacion
Benchmarking en sistemas modernos rara vez produce datos limpios y comparables. Aunque el software bajo prueba sea determinista, el resto del entorno —sistema operativo, hardware, JVM, mecanismos de seguridad— introduce variaciones que pueden cambiar los tiempos de ejecución entre iteraciones y entr
Reducir la latencia de cola en los productos conversacionales basados en modelos de lenguaje no requiere necesariamente pagar el doble por un nivel de servicio prioritario. La empresa HOAi, que desarrolla agentes de voz que atienden llamadas telefónicas, experimentó con una alternativa más barata: e
Qwen3.8 27B es un modelo de inteligencia artificial de pesos abiertos desarrollado por Alibaba, con 27.000 millones de parámetros y licencia Apache 2.0, lo que permite su uso comercial y su autoalojamiento. La versión analizada en esta ficha es la variante con razonamiento (chain-of-thought), capaz
Un equipo de investigadores de la Universidad de Cambridge, en colaboración con NVIDIA, Flower Labs, MBZUAI e Inria, ha presentado un nuevo método para que los agentes de inteligencia artificial que se automejoran sigan evolucionando sin estancarse. El problema, explican, es que los sistemas actuale
El equipo de curl ha puesto en marcha un sistema público y automatizado de pruebas de rendimiento, accesible desde curl.se/perf/, que reconstruye el proyecto cada veinte minutos a partir del último commit de git y mide métricas como velocidad de descarga de un archivo de 100 GB desde localhost, núme
La idea de que los lenguajes de programación dinámicos y "densos" —como Clojure o J— son mucho más eficientes en tokens para los grandes modelos de lenguaje (LLMs) de lo que lo son lenguajes estáticos como Rust, C++ o Go lleva años circulando en blogs y respuestas de inteligencia artificial. Sin emb
El Dell XPS 13 con chip Intel Core 5 320 ha superado al MacBook Neo de Apple en eficiencia energética en pruebas de alto rendimiento, según los benchmarks publicados por el youtuber e ingeniero Jeff Geerling. Los resultados, compartidos en su repositorio de GitHub, cuestionan laextendida creencia de
Este artículo analiza en profundidad el PR #8587 del proyecto GreptimeDB, una reescritura en Rust de la función recordbatches_to_timeseries que convierte datos columnares en series temporales para el protocolo Prometheus remote read. El autor parte de un dato alarmante del perfil de CPU incluido por
El programador Serhii Potapov (greyblake) demuestra cómo una técnica de programación sin bifurcaciones (branchless) puede acelerar hasta cuatro veces el típico filtrado de un millón de valores de tipo f64 en Rust. El artículo parte de un caso aparentemente trivial: una función `filter` que conserva
El desarrollador del sistema de compilación build2 presenta una comparativa de rendimiento frente a Ninja, considerado la referencia de velocidad en builds de C++. Para una prueba en igualdad de condiciones eligió Xerces-C++, un parser XML en C++ con 299 unidades de traducción, y realizó una compila
Un equipo de PureStateLabs publica el archivo de código y datos que acompaña al preprint "Which state are you converging? A spin audit of sample-based quantum diagonalization benchmarks on iron–sulfur clusters". El trabajo pone en cuestión uno de los resultados estrella de la química cuántica a esca
Un experimento con nueve kernels pequeños compilados con GCC 15.2.0 en un Intel Xeon E-2236 mide qué ocurre cuando se obliga al compilador a trabajar con cada vez menos registros, usando el flag -ffixed-<reg>. De los nueve núcleos probados, ocho se ralentizan entre un 14% y un 76% al llegar al presu
AGI Ranker, un proyecto que ofrece una puntuación abierta de inteligencia artificial general (AGI Score) para modelos de frontera, ha publicado en pocos días seis versiones de mantenimiento (de la v2.0.1 a la v2.0.6) centradas en subsanar errores de contenido y de experiencia de uso detectados tras
Esta entrada forma parte de una serie dedicada al análisis crítico de benchmarks, evals y diseño experimental, y plantea tres ejercicios con respuesta antes de que el lector los vea: uno sobre el repositorio Napkin Math, otro sobre los benchmarks DeepSWE y Senior SWE-Bench, y un tercero sobre la afi
La plataforma Artificial Analysis publica una comparativa exhaustiva de modelos de inteligencia artificial que evalúa, sobre 164 modelos (93 de pesos abiertos y 120 con razonamiento), seis dimensiones clave: calidad de las respuestas, precio, velocidad de salida en tokens por segundo, latencia hasta
Postgres LISTEN/NOTIFY arrastra fama de no escalar, pero el cuello de botella —un cerrojo global durante el commit— es evitable. DBOS explica en este artículo técnico cómo construyó streams de baja latencia sobre Postgres usando notificaciones para evitar polling, qué problema apareció al escalar (u
Primate Labs ha presentado Geekbench 7, la nueva generación de su popular herramienta de benchmarking sintético, que incorpora conjuntos de datos más grandes y exigentes para CPU y GPU, pruebas de codificación y decodificación de vídeo y audio inéditas y un test multinúcleo rediseñado. La versión ma
Un estudio universitario de la Universidad de Illinois (UIUC) sobre los planificadores del kernel de Linux revela que la métrica correcta lo es casi todo a la hora de evaluar decisiones de planificación. Los autores partieron de la idea clásica de mantener los procesos en el mismo núcleo para conser
El equipo de tsbootstrap detectó, en una comparativa frente a la librería econométrica arch, que su motor de bootstrap por bloques era varias veces más lento en cargas realistas. El problema no era el intérprete: era estructural. La implementación previa materializaba todas las réplicas en un único
Las GPU NVIDIA Tesla fuera de servicio —K80 con 24 GB de GDDR5 desde 60 dólares, P100 de 16 GB sobre los 75 dólares y V100 de 16 GB por debajo de los 200 dólares— se han convertido en una de las fuentes más accesibles de memoria de vídeo ociosa para entusiastas del hardware. Este proyecto documenta
EF Core 11 introduce una optimización que mejora el rendimiento de las consultas que usan AsSplitQuery. Por defecto, Entity Framework Core carga los datos en una sola consulta, pero al incluir colecciones mediante Include genera JOINs que duplican filas del padre. AsSplitQuery resuelve ese problema
El ensayo parte del paper de 2015 "Scalability! But at what COST?" de McSherry, Isard y Murray, que demostró que varios sistemas distribuidos de procesamiento de grafos rendían menos que un único hilo en un portátil: un caso del grafo de seguidores de Twitter (1.500 millones de relaciones) lo resolv
Dimensionar correctamente un servidor PostgreSQL en AWS requiere equilibrar el tamaño del conjunto de datos, la carga de trabajo y el coste por hora de cada instancia EC2. Esta herramienta permite fijar el volumen de datos y el rendimiento deseado (transacciones por segundo) para que el sistema reco
El falso compartimiento (false sharing) es un fenómeno de rendimiento que ocurre cuando dos variables atómicas independientes caen dentro de la misma línea de caché. Aunque los protocolos de coherencia como MESI trabajan con bloques del tamaño de una línea de caché y no con direcciones individuales,
Construir y aplicar benchmarks se ha convertido en una forma de activación de datos: convierte información de un dominio en superficies contra las que se puede medir, clasificar y entrenar modelos de lenguaje. El artículo parte de una observación: los grandes modelos mejoran más rápido allí donde ex
La sabiduría heredada sobre optimización en C++ —el inverso rápido de raíz cuadrada de Quake III, el intercambio por XOR, el conteo de bits de Kernighan, el acceso por punteros de fila— se asentó sobre hardware y compiladores que ya no existen. Este artículo demuestra con benchmarks en un AMD Ryzen
Cientos de contratistas de Meta, coordinados por la empresa irlandesa Covalen, suplantaron la identidad de menores de edad en cuentas falsas para enviar decenas de miles de mensajes a chatbots de OpenAI, Google y Character.AI y registrar sus respuestas. El proyecto, llamado internamente Cannes y act
Este artículo analiza de forma experimental cómo distintos patrones de acceso a memoria pueden degradar el rendimiento de una CPU al sumar los elementos de un arreglo de 2^26 enteros sin signo de 32 bits. La medición se realiza con el contador de ciclos rdtsc sobre un Intel Core Ultra 7 268V, con hu
Este artículo presenta una comparativa exhaustiva de seis diseños de caché en memoria (pares clave-valor de cadenas) implementados exclusivamente con la biblioteca estándar de Go y evaluados con pruebas de rendimiento. Los diseños comparados son: un mapa plano sin protección (no seguro), un mapa con
Un gráfico difundido en redes sociales proyecta que la distancia entre los modelos de lenguaje de código abierto y los propietarios se cerrará el 3 de diciembre de 2026, una fecha que el autor del análisis, firmado en el blog de Doubleword, califica de engañosa. El razonamiento parte del Artificial
Los principales laboratorios de inteligencia artificial muestran un escepticismo creciente ante la escalada indefinida de parámetros y datos de entrenamiento, según un análisis publicado este 18 de junio. El artículo señala que el paradigma del «cuanto más grande, mejor» quedó en entredicho cuando e
Un fundador y mantenedor de software comparte su experiencia de uso continuado con modelos Qwen locales (27B y 35-A3B) en su empresa, que mantiene proyectos como OpenFaaS, SlicerVM, Actuated e Inlets, todos escritos en Go y centrados en infraestructura. El autor matiza la afirmación de que Qwen loca
keybench es una herramienta de código abierto para medir el rendimiento de almacenes de clave-valor ordenados. Escrita en C y con cargas de trabajo definidas en Lua, ejecuta el mismo script contra varios motores de almacenamiento para que la comparación refleje los motores y no el propio banco de pr
Scale, una empresa de evaluación de infraestructura en la nube, pospuso la publicación de los resultados de su "Scale Invitational" del 8 al 17 de junio tras descubrir, durante el diseño de la prueba, problemas de fondo que invalidaban sus primeras mediciones. El benchmark busca comparar proveedores
Las bases de datos recurren con frecuencia a UUID aleatorios como clave primaria por su unicidad distribuida, pero esta elección tiene un coste de rendimiento que muchos desarrolladores desconocen. En SQLite, cada tabla ordinaria dispone de un rowid implícito de 64 bits que actúa como índice agrupad
La suite de pruebas SPEC CPU2026 ha sido lanzada oficialmente por la organización SPEC, consolidando su estatus como estándar de la industria para evaluar el rendimiento de procesadores. Esta actualización introduce 52 cargas de trabajo, un incremento respecto a las 43 disponibles en la versión de 2
Este artículo explora un problema fundamental en la optimización de rendimiento en Go: la ausencia de abstracciones de costo cero en las rutas críticas de código (hot paths). El autor, al portar el algoritmo Brotli a Go puro para el proyecto go-brrr, descubrió que las abstracciones idiomáticas del l
Red Hat ha cuestionado un estudio publicado por VMware que afirmaba que VMware Cloud Foundation (VCF) 9.0 con vSphere Kubernetes Service (VKS) ofrece una ventaja de “5.6x pod density” sobre Red Hat OpenShift. Según Red Hat, el estudio presenta una comparación metodológicamente defectuosa, ya que uti
Se ha lanzado 'Glass Cannon', un nuevo generador de carga HTTP/1.1 y WebSocket de alto rendimiento, diseñado para pruebas de estrés y rendimiento de servidores web. Desarrollado para [Http Arena](https://www.http-arena.com/), Glass Cannon se distingue por su velocidad, aprovechando la tecnología 'io
Intel ha implementado una herramienta de optimización binaria (BOT) que modifica el código de ciertas aplicaciones para mejorar su rendimiento, incluyendo versiones específicas de la prueba de rendimiento Geekbench. Según un análisis realizado por Geekbench, BOT introduce un retraso inicial de 40 se
Un nuevo análisis revela la capacidad de los procesadores modernos para aprender y predecir patrones de ejecución, lo que afecta significativamente la precisión de las pruebas de rendimiento (benchmarking). Daniel Lemire, investigador y experto en rendimiento de software, ha descubierto que los proc
Este informe de METR analiza la discrepancia entre los resultados de los modelos de lenguaje grandes (LLMs) en el benchmark SWE-bench Verified y su utilidad real en proyectos de código abierto. SWE-bench Verified es una herramienta para evaluar la capacidad de los LLMs para resolver problemas de pro
Un artículo de Tom's Hardware ha generado controversia al afirmar que el chip Apple M5 Max, con 18 núcleos, supera a un procesador AMD Ryzen Threadripper Pro de 96 núcleos en pruebas Geekbench 6. Sin embargo, según un análisis publicado en dev.to y señalado por el usuario Ecuador en Slashdot, los re
Un nuevo benchmark llamado LLM Skirmish ha sido creado para evaluar el rendimiento de modelos de lenguaje grandes (LLMs) en un entorno de juego. El sistema enfrenta a los LLMs en partidas 1v1 de estrategia en tiempo real (RTS), donde los modelos escriben código para determinar sus estrategias, que l
A partir de Go 1.24, la implementación interna de `sync.Map` en la biblioteca estándar de Go ha sido rediseñada para mejorar el rendimiento de la concurrencia, utilizando ahora una estructura llamada HashTrieMap. Esta estructura combina una tabla hash con un trie, permitiendo lecturas sin bloqueo (l
Un análisis comparativo de seis motores PDF ha revelado resultados inesperados, según un desarrollador de Speedata, quien los utilizó para su propio motor de tipografía. El estudio, realizado en una MacBook Air M4, evaluó el rendimiento de speedata Publisher (sp), Typst, pdflatex, LuaLaTeX, WeasyPri
MDST ha lanzado una nueva herramienta que permite ejecutar modelos de lenguaje grandes (LLMs) en formato GGUF directamente en el navegador web, sin necesidad de depender de proveedores de la nube o configuraciones complejas. Esta innovación, impulsada por WebGPU, abre la puerta a un acceso más ampli
ElysiaJS, un framework web de nueva generación, ha demostrado un rendimiento significativamente superior a otros frameworks populares como Express y Fastify, según los resultados de la prueba TechEmpower Benchmark Round 22 (publicados el 17 de octubre de 2023). Utilizando un compilador JIT (Just-In-
