La inferencia de modelos de lenguaje (LLM) se gobierna por una frontera eficiente que resume los compromisos entre latencia, rendimiento y coste, un concepto que la industria de la IA tomó prestado de la economía y que mide hasta dónde se puede llegar en capacidad a un coste dado. Este artículo explica las dos familias de técnicas que manejan los ingenieros de inferencia: las que permiten moverse a lo largo de la frontera eligiendo un punto concreto y las que empujan la frontera entera hacia afuera, ganando eficiencia general que después se reparte entre velocidad y rendimiento.
Entre las técnicas de gestión de compromisos se incluyen el tamaño de lote, que reparte latencia por usuario frente a coste por token; la estrategia de paralelismo, con Tensor Parallelism para reducir latencia, Expert Parallelism configurable según prioridades y Attention Data Parallelism para escalar rendimiento; y la cuantización, que mejora ambos frentes a cambio de posibles pérdidas de calidad, especialmente suave con formatos como MXFP4 y NVFP4.
Las técnicas que expanden la frontera incluyen la optimización de kernels CUDA y del runtime, la decodificación especulativa (EAGLE-3, DSpark, DFlash), que acelera la generación saltándose pasadas hacia adelante, y el desglose prefill/decode (P/D disaggregation), que dedica trabajadores especializados a cada fase. Todas estas mejoras se acumulan: duplicar el rendimiento de hardware y software se traduce en una mejora cuádruple en el servicio global. El artículo remite a la obra gratuita 'Inference Engineering' para un análisis detallado.