PreSTO acelera la muestreo de potencia en modelos de lenguaje

Fuentes: PreSTO accelerates power sampling in large language models

PreSTO es una técnica de prefetching de subárboles predictivos diseñada para acelerar el muestreo de potencia (power sampling) en modelos de lenguaje de gran escala (LLM). Esta metodología mejora la razonamiento de los LLM durante la fase de prueba mediante el muestreo de una versión afilada de la distribución base, utilizando el sampler PowerMH. Sin embargo, el proceso original es lento debido a que las actualizaciones de Metropolis-Hastings (MH) son secuenciales, lo que obliga a generar cada propuesta en secuencia. PreSTO resuelve esta limitación prefetchando propuestas futuras y manteniendo inalterado el núcleo de transición de MH, garantizando la validez estadística del proceso.

El enfoque visualiza los resultados futuros de MH como un árbol de decisiones de aceptación y rechazo. En cada llamada al modelo, PreSTO genera las propuestas de un subárbol prefetchado en un solo lote y luego sigue el camino realizado con la regla de aceptación original. Además, el sistema observa que MH solo alcanza una parte dispersa y casi unaria de cada subárbol prefetchado. Para optimizar esto, se diseña una regla de travesía predictiva que selecciona el subárbol que maximiza el número predicho de transiciones completadas. En siete conjuntos de datos y cinco LLMs base, PreSTO logra aceleraciones medianas de 1.71x, 1.91x y 2.33x en PowerMH, EntropyCut y MultiTryMH, respectivamente. En los dos primeros casos, reduce la media de llamadas al modelo en 3.9 veces, con cada llamada siendo solo 2.1 veces más larga. En LCB V6 con Qwen3.5-9B, la regla de travesía predictiva es un 1.25x a 1.37x más rápida que la travesía por anchura predeterminada.