GGUF
software · 7 menciones
Noticias que mencionan GGUF
macs ejecutan IA potente: llega Hypura
Hypura es una nueva herramienta de código abierto que permite a los usuarios ejecutar modelos de lenguaje grandes (LLM) en Macs con memoria limitada. Desarrollada por un equipo anónimo, Hypura optimiza la ubicación de los tensores del modelo (datos) entre la GPU, la RAM y el almacenamiento NVMe, per
LLM más potentes: técnica de duplicación sorprende
Investigadores han desarrollado una técnica innovadora para mejorar el rendimiento de los modelos de lenguaje grandes (LLM) sin necesidad de entrenamiento adicional ni modificación de los pesos. El método, basado en el trabajo previo de David Ng (RYS), implica duplicar bloques específicos de capas d
Unsloth Studio: IA fácil con su interfaz sin código
Unsloth AI ha lanzado Unsloth Studio (Beta), una interfaz de usuario web de código abierto y sin necesidad de programación para entrenar, ejecutar y exportar modelos de IA de código abierto localmente. La herramienta, disponible para Windows, Linux, WSL y MacOS (con soporte limitado para entrenamien
Unsloth mejora LLMs con Dynamic 2.0 GGUFs
Unsloth ha lanzado Dynamic 2.0 GGUFs, una actualización significativa de su método de cuantización para modelos de lenguaje grandes (LLMs). Esta nueva versión supera a otros métodos de cuantización líderes, estableciendo nuevos puntos de referencia en pruebas MMLU y KL Divergence, lo que permite a l
llama 70B corre en RTX 3090 con nuevo motor
Un equipo de desarrolladores ha creado un nuevo motor de inferencia de alto rendimiento para modelos de lenguaje grandes (LLM) que permite ejecutar el modelo Llama 70B en una sola tarjeta gráfica RTX 3090. El motor, basado en C++/CUDA, utiliza una técnica de streaming de capas del modelo a través de
IA en el Navegador: Ejecuta Modelos GGUF sin Nube
MDST ha lanzado una nueva herramienta que permite ejecutar modelos de lenguaje grandes (LLMs) en formato GGUF directamente en el navegador web, sin necesidad de depender de proveedores de la nube o configuraciones complejas. Esta innovación, impulsada por WebGPU, abre la puerta a un acceso más ampli
IA sin Internet: Chat, Imágenes y Más en tu Móvil
Un desarrollador ha lanzado 'Off Grid', una aplicación móvil de inteligencia artificial que permite a los usuarios ejecutar una amplia gama de funciones directamente en sus teléfonos, sin necesidad de conexión a internet ni de enviar datos a la nube. La aplicación, disponible para Android e iOS, int