Noticias que mencionan TinyLlama

Tinyinfer: motor de inferencia CUDA para LLMs sin dependencias externas

Tinyinfer es un motor de inferencia para modelos de lenguaje de gran escala (LLM) de la familia Llama, desarrollado desde cero en C++ y CUDA. A diferencia de las herramientas estándar, este proyecto no utiliza PyTorch ni cuBLAS, sino que implementa kernels personalizados para operaciones críticas co

Benchmark de eficiencia energética de LLMs en hardware de consumo

La implementación local de modelos de lenguaje grandes (LLM) ha ganado relevancia por las preocupaciones de privacidad y la necesidad de inferencia on-premise, aunque los costos energéticos en hardware de consumo siguen siendo poco caracterizados. Este artículo presenta un benchmark reproducible de

Ferrox: un motor de inferencia en Rust que rivaliza con llama.cpp

Ferrox, un motor de inferencia escrito íntegramente en Rust, ejecuta modelos de lenguaje abiertos en local —tanto densos como Mixture-of-Experts— sobre CPU, Apple Metal o CUDA, sin recurrir a enlaces con llama.cpp ni con ggml. Cada kernel, cargador y mecanismo de planificación se ha implementado des

Reame: un servidor de inferencia LLM pensado para CPU, no para GPUs

Reame es un servidor de inferencia de modelos de lenguaje abierto construido sobre llama.cpp con una premisa clara: tratar el hardware CPU barato —servidores VPS compartidos, máquinas ARM de dos núcleos o incluso el nivel gratuito de Oracle Cloud— como ciudadano de primera clase, no como un recurso