software · 5 menciones
Toast es un entorno de desarrollo integrado (IDE) minimalista que funciona por completo dentro de la terminal, pensado para ediciones rápidas de archivos sin abrir una interfaz gráfica. El proyecto, alojado en GitHub bajo el repositorio paradise-runner/toast, ofrece una experiencia similar a la de e
El desarrollador Jmaczan ha lanzado en GitHub 'tiny-vllm', un motor de inferencia de alto rendimiento para modelos de lenguaje grande (LLM) desarrollado en C++ y CUDA. Esta iniciativa se presenta como una versión más compacta y educativa de vLLM, diseñada para derivar desde cero las matemáticas y ar
Un investigador ha desarrollado "GuppyLM", un modelo de lenguaje pequeño (aproximadamente 9 millones de parámetros) que imita la personalidad de un pez llamado Guppy. El proyecto, disponible en GitHub, busca demostrar que el entrenamiento de modelos de lenguaje no requiere conocimientos avanzados ni
Este artículo de Q Labs describe un avance significativo en la eficiencia del uso de datos en el entrenamiento de modelos de lenguaje, logrando una mejora de 10 veces utilizando su técnica 'NanoGPT Slowrun'. Esto desafía las leyes de escalamiento convencionales, como las propuestas por Chinchilla, q
Un equipo de desarrolladores ha creado un nuevo motor de inferencia de alto rendimiento para modelos de lenguaje grandes (LLM) que permite ejecutar el modelo Llama 70B en una sola tarjeta gráfica RTX 3090. El motor, basado en C++/CUDA, utiliza una técnica de streaming de capas del modelo a través de