La estimación de funciones log-sum-exp presenta un desafío estadístico significativo debido a la explosión de la varianza cuando los valores de la función potencial son grandes. Este problema afecta a aplicaciones clave en el aprendizaje automático, como la normalización de modelos probabilísticos, la regularización por entropía en el aprendizaje por refuerzo y las aproximaciones suaves del máximo en arquitecturas de transformers. Aunque el método de muestreo es estándar, su precisión es limitada por la alta varianza de las estimaciones, especialmente en distribuciones con alta dispersión.
El artículo propone una alternativa basada en la regresión de mínimos cuadrados para mitigar estas limitaciones. A diferencia de los métodos de optimización iterativa tradicionales, como el descenso de gradiente estocástico, la regresión de mínimos cuadrados ofrece estimadores cerrados con propiedades estadísticas controladas y menor varianza. El texto demuestra que es posible reconciliar las ventajas de la suavidad y la normalización de los log-sum-exp con la simplicidad computacional y estadística de los métodos de mínimos cuadrados. Se introduce una ecuación integral que permite derivar estimadores cerrados para problemas de máxima verosimilitud, evitando la necesidad de optimización iterativa. Este enfoque es particularmente útil en modelos jerárquicos y en la estimación de divergencias de Kullback-Leibler, donde la precisión y la estabilidad son críticas para la inferencia probabilística.