software · 5 menciones
La infraestructura para ejecutar modelos de lenguaje de gran escala (LLM) depende de tres factores clave: el tamaño del modelo, el volumen de tráfico y la estabilidad de la demanda. Este análisis técnico detalla cómo calcular el hardware necesario para evitar pagar por capacidad ociosa, comparando o
Brewery es un agente de consola diseñado para simplificar el proceso de afinamiento de modelos de lenguaje e imagen, permitiendo a usuarios desde principiantes hasta expertos automatizar tareas complejas de entrenamiento. La herramienta, desarrollada por el laboratorio de investigación independiente
Soup es una herramienta de línea de comandos pensada para simplificar el ajuste fino y el post-entrenamiento de modelos de lenguaje grandes (LLM). Su premisa es reducir entre el 30% y el 50% del tiempo que los equipos dedican a pelearse con la infraestructura, dedicándolo en su lugar a mejorar los m
Petals es un proyecto de código abierto que permite ejecutar y ajustar modelos de lenguaje de gran tamaño desde equipos domésticos mediante una arquitectura inspirada en BitTorrent. En lugar de cargar el modelo completo en una sola máquina, cada participante descarga solo una parte y se conecta a un
AVA es un agente de voz con inteligencia artificial de código abierto diseñado para integrarse con centrales Asterisk y FreePBX mediante Audiosocket y RTP. Su arquitectura modular tipo pipeline permite combinar de forma intercambiable proveedores de conversión de voz a texto (STT), modelos de lengua