software · 10 menciones
Un estudio reciente revela que los modelos de transformers preentrenados subutilizan su profundidad arquitectónica al seguir referencias en el contexto. Los análisis indican que trece modelos base confían únicamente en 1,4 a 3,6 líneas de contexto, mientras que los bucles adicionales de preentrenami
El periodista y propietario de un proveedor de servicios de internet (ISP), Jonah Aragon, destaca el impulso que están ganando las redes mesh como solución para un internet descentralizado y resistente a la censura. Aragon, quien opera su propia infraestructura de fibra óptica, señala que el modelo
Investigadores han descubierto que LoRA (Low-Rank Adaptation), una técnica popular para ajustar grandes modelos de lenguaje (LLMs), se comporta de manera diferente a lo esperado cuando interactúa con el weight decay (decaimiento de pesos). Mientras que el ajuste fino completo regulariza los pesos ha
Un nuevo lenguaje de sistemas auto-alojado llamado 'Rail' ha sido presentado, destacando por eliminar por completo las dependencias de C y ofrecer una arquitectura innovadora. Desarrollado por Zemo-G, Rail se distingue por su compilador (4.687 líneas de código) que genera un binario ARM64 de 729 KB
Un nuevo toolkit llamado 'gemma-tuner-multimodal' permite a los usuarios afinar modelos Gemma de Google para tareas de inteligencia artificial multimodal (texto, imágenes y audio) directamente en Macs con Apple Silicon. La herramienta, desarrollada por Mattmireles y disponible en GitHub, elimina la
El campo de la inteligencia artificial, específicamente el aprendizaje automático, ha logrado avances significativos en la capacidad de los modelos de lenguaje para 'razonar'. Tradicionalmente, este razonamiento se ha logrado a través de técnicas de aprendizaje por refuerzo (RL), donde el modelo apr
Unsloth AI ha lanzado Unsloth Studio (Beta), una interfaz de usuario web de código abierto y sin necesidad de programación para entrenar, ejecutar y exportar modelos de IA de código abierto localmente. La herramienta, disponible para Windows, Linux, WSL y MacOS (con soporte limitado para entrenamien
Investigadores han desarrollado "zi2zi-JiT", un nuevo modelo de inteligencia artificial que simplifica la transferencia de estilos de fuentes chinas. Basado en el modelo JiT (Just image Transformer), zi2zi-JiT permite generar caracteres en una fuente específica a partir de un carácter fuente y una r
Un ingeniero de Workshop Labs, Addie Foote, relata los desafíos encontrados al intentar entrenar y servir modelos de lenguaje grandes con pesos abiertos, específicamente el modelo Kimi-K2-Thinking de Moonshot AI. El objetivo era post-entrenar el modelo, que cuenta con 1 billón de parámetros y está c
Un desarrollador ha publicado MeshTNC, una herramienta de código abierto que transforma radios LoRa de bajo costo en módems de radio de paquetes. El proyecto, disponible en GitHub (github.com/datapartyjs/MeshTNC), permite la transmisión de datos LoRa a través de una interfaz de línea de comandos sim
