El laboratorio Goombalab, afiliado a Cartesia, ha desarrollado H-Nets (Hierarchical Networks), una arquitectura de inteligencia artificial diseñada para eliminar la dependencia de la tokenización manual y aprender directamente de datos crudos. Esta tecnología surge como una respuesta a la necesidad de mejorar la eficiencia en el aprendizaje de modelos de lenguaje, permitiendo que los sistemas procesen datos a nivel de bytes o caracteres de forma end-to-end. A diferencia de los modelos actuales que utilizan tokenizadores predefinidos, H-Nets realizan el 'chunking' dinámico dentro del modelo, lo que facilita la extracción de abstracciones jerárquicas de la información de bajo nivel.
Los resultados presentados en esta serie de dos partes demuestran que las redes jerárquicas ofrecen ventajas significativas en términos de eficiencia computacional. En pruebas comparativas, un modelo de dos etapas de H-Nets superó a un modelo de código abierto equivalente, requiriendo diez veces menos cómputo y datos para alcanzar resultados similares. Además, la arquitectura ha mostrado una capacidad para aprender patrones complejos, como la tokenización en contexto, que no se observan en los modelos de lenguaje tradicionales. La investigación sugiere que H-Nets no solo mejoran el rendimiento en el procesamiento del lenguaje, sino que también tienen aplicaciones prometedoras en otras modalidades, como la biología y la visión, al permitir el aprendizaje de patrones en datos continuos y discretos. Este avance se alinea con el 'bitter lesson' de la IA, que aboga por métodos de aprendizaje escalables y libres de sesgos de ingeniería humana, posicionando a H-Nets como una arquitectura fundamental para el futuro de la inteligencia artificial general.
