software · 5 menciones
Los modelos de lenguaje sin tokenizador, conocidos como modelos por bytes, eliminan los sesgos inductivos de los tokenizadores fijos al modelar el texto directamente como secuencias de bytes. Aunque esta aproximación genera secuencias más largas que aumentan la carga computacional, un estudio recien
El artículo presenta HLA (Hybrid Linear Attention), un mecanismo de atención dependiente de la consulta diseñado para Gated DeltaNet (GDN). Esta técnica resuelve la limitación de la atención lineal estándar, que comprime el historial de forma fija y dificulta el acceso selectivo a información disper
Este artículo técnico propone que la complejidad de Kimi Delta Attention (KDA), el mecanismo de atención lineal que emplea la familia de modelos Kimi, no es tan opaca como aparenta: un lector familiarizado con la familia DeltaNet podría haber deducido sus ecuaciones a partir de requisitos sencillos
Investigadores de Moonshot AI presentan Kimi Linear, una arquitectura híbrida de atención lineal que, según afirmam, supera por primera vez a la atención completa en comparaciones equitativas en contextos cortos, largos y en escenarios de escalado por aprendizaje por refuerzo. El núcleo del sistema
Sana-WM es un modelo de mundo de código abierto con 2.600 millones de parámetros, diseñado específicamente para generar videos de alta fidelidad con resolución 720p y duración de hasta un minuto a partir de una única imagen y una trayectoria de cámara. Este sistema representa un avance significativo
