software · 5 menciones
Ferrox, un motor de inferencia escrito íntegramente en Rust, ejecuta modelos de lenguaje abiertos en local —tanto densos como Mixture-of-Experts— sobre CPU, Apple Metal o CUDA, sin recurrir a enlaces con llama.cpp ni con ggml. Cada kernel, cargador y mecanismo de planificación se ha implementado des
AirLLM es una biblioteca de Python de código abierto que reduce drásticamente el consumo de memoria durante la inferencia de modelos de lenguaje de gran tamaño, permitiendo ejecutar un modelo de 70B parámetros en una única GPU con apenas 4 GB de VRAM, sin recurrir a cuantización, destilación ni poda
Los desarrolladores, estudiantes y pequeñas empresas que trabajan con presupuestos ajustados ya no tienen por qué resignarse a los modelos de IA más costosos. La diferencia de capacidad entre los modelos de gama alta (Claude Sonnet, GPT-4o, Gemini 1.5 Pro, con precios de 5 a 75 dólares por millón de
Microsoft ha lanzado Phi-4-Vision-Reasoning-15B, un nuevo modelo de inteligencia artificial multimodal de código abierto con 15 mil millones de parámetros. Este modelo destaca por su equilibrio entre capacidad de razonamiento, eficiencia y requisitos de datos de entrenamiento, permitiendo una intera
Un desarrollador ha lanzado 'Off Grid', una aplicación móvil de inteligencia artificial que permite a los usuarios ejecutar una amplia gama de funciones directamente en sus teléfonos, sin necesidad de conexión a internet ni de enviar datos a la nube. La aplicación, disponible para Android e iOS, int