Un investigador ha experimentado con nuevas funciones de activación, específicamente Swish y SwiGLU, en el modelo NNUE de Viridithas, un motor de ajedrez. Inicialmente, la sustitución de las funciones SCReLU en las capas L₁ y L₂ con Hard-Swish provocó una disminución significativa en la eficiencia debido a una menor dispersión en las activaciones de la capa L₀, lo que afectó negativamente el rendimiento. Para solucionar este problema, se implementó una técnica de regularización para penalizar las activaciones densas, restaurando así la dispersión óptima. Los resultados mostraron mejoras notables en la fuerza del motor, tanto en el control de tiempo corto como en el largo, superando el rendimiento de la configuración SCReLU original. Además, el cambio a SwiGLU en la capa L₂ mejoró aún más el rendimiento. La secuencia final de activación resultante (pairwise-multiplied clipped ReLU, Swish, SwiGLU) sorprendentemente se asemeja a una configuración óptima encontrada para otro motor de ajedrez, PlentyChess, aunque esto se considera probablemente una coincidencia. El investigador expresa entusiasmo por integrar más técnicas de aprendizaje profundo en el diseño de NNUE para ajedrez.
Noticias agregadas con IA