software · 21 menciones
Llama.app se presenta como la página oficial del proyecto de código abierto llama.cpp, una iniciativa pensada para ejecutar modelos de inteligencia artificial de frontera directamente en el ordenador del usuario, sin depender de servicios en la nube, claves de API ni telemetría. Toda la información
Gigatoken es una biblioteca de tokenización para modelos de lenguaje escrita en Rust que alcanza velocidades de hasta 24,53 GB/s en CPU AMD EPYC 9565 de 144 núcleos, frente a las 24,8 MB/s que ofrece el tokenizador de HuggingFace para GPT-2. Esto representa una aceleración cercana a 989 veces respec
El desarrollador tucan9389 ha portado nanochat, el proyecto de entrenamiento de modelos de chat de Andrej Karpathy pensado para nodos de 8 GPU H100, a TPU usando JAX, Flax y Pallas. El objetivo del puerto, bautizado nanochat-jax, es conservar al máximo la configuración y arquitectura originales y ve
Un equipo de investigación ha descrito un fenómeno geométrico, bautizado como "condensación de embeddings", que afecta a los modelos de lenguaje pequeños y que podría explicar parte de la brecha de rendimiento frente a los modelos grandes. Cada capa del Transformer representa los tokens como vectore
nanoeuler es un proyecto educativo e investigador que implementa un modelo de lenguaje tipo GPT-2 desde cero, sin recurrir a PyTorch, autograd ni librerías de aprendizaje automático. Todo el pipeline de entrenamiento —el forward, el backward, un tokenizador byte-level BPE escrito a mano, el preentre
GPT2-BASIC es un runtime de transformer y asistente local implementado en BASIC para máquinas de clase DOS, compilado con FreeBASIC y verificado en QEMU. No es un frontend web ni un envoltorio de API: carga artefactos de modelo desde disco, ejecuta inferencia tipo GPT con aritmética entera de punto
En febrero de 2019, OpenAI presentó GPT-2, un modelo de lenguaje basado en el decodificador del transformer que suponía un escalado directo de GPT-1: 1.500 millones de parámetros —diez veces más que su predecesor—, entrenado sobre 40 GB de texto web y entrenado en 48 bloques de decodificador con una
El término 'loro estocástico' (stochastic parrot) fue introducido por Emily Bender y colegas en su influential artículo de 2021 para describir lo que realmente hacen los modelos de lenguaje grandes (LLMs) cuando generan texto. La idea central es que estos sistemas no comprenden el significado del le
La empresa de inteligencia artificial Anthropic anunció que su nuevo modelo Claude Mythos es tan avanzado en la detección de vulnerabilidades de ciberseguridad que representa un riesgo catastrófico para la sociedad si cae en manos equivocadas, por lo que no será liberado públicamente de inmediato. E
Un desarrollador ha creado un taller práctico para permitir a usuarios entrenar modelos GPT en laptops, incluso sin experiencia previa en aprendizaje automático. Inspirado por el proyecto 'nanoGPT' de Andrej Karpathy, el taller simplifica el proceso, reduciendo el tamaño del modelo a aproximadamente
Un análisis reciente plantea una pregunta crucial sobre el futuro de la inteligencia artificial: ¿están aumentando los costos de los agentes de IA a un ritmo exponencial? Si bien los modelos de IA han demostrado un crecimiento exponencial en la capacidad de realizar tareas, desde tareas que tomarían
Un ingeniero de Aily Labs, empresa especializada en inteligencia artificial, ha decidido tomarse un descanso de la IA para enfocarse en la programación manual, residiendo actualmente en Brooklyn como parte de un “retiro de codificación”. Tras dos años trabajando en Aily Labs, desarrollando agentes d
Anthropic ha restringido el acceso a su nuevo modelo de IA, Claude Mythos, debido a su potencial para generar exploits de seguridad informática a gran escala. A diferencia de lanzamientos anteriores, Mythos no estará disponible para el público general, ya que podría permitir a atacantes descubrir vu
La organización de investigación de inteligencia artificial OpenAI ha desarrollado un nuevo modelo de generación de texto, GPT-2, capaz de producir prosa coherente y adaptable a diversos estilos. Sin embargo, la empresa ha decidido no publicar el código completo del algoritmo, citando preocupaciones
Una investigación reciente, alojada en el repositorio SALOMI en GitHub, ha revelado limitaciones en la cuantificación binaria de transformadores, una técnica utilizada para reducir el tamaño y mejorar la eficiencia de los modelos de lenguaje grandes (LLM). El estudio, centrado en la cuantificación e
La forma en que los modelos de lenguaje grandes (LLM) como ChatGPT gestionan la memoria de las conversaciones, conocida como 'KV cache', tiene un costo físico y económico significativo. Cada interacción, incluso una pregunta sencilla, se traduce en datos almacenados en la memoria de la GPU, con GPT-
Trip Venturella ha lanzado "Mr. Chatterbox", un modelo de lenguaje único que se entrena exclusivamente con textos de dominio público de la Biblioteca Británica, datados entre 1837 y 1899. Este enfoque elimina cualquier dato de entrenamiento posterior a 1899, creando un modelo con una perspectiva y v
Este artículo explora cómo el autor está utilizando modelos de lenguaje grandes (LLMs) para desarrollar software de manera más eficiente y efectiva. El punto central es que, en lugar de reemplazar a los programadores, los LLMs están transformando el rol, desplazando el enfoque de la escritura de cód
El artículo de Frank Lantz explora una paradoja intrigante: a pesar del auge de la inteligencia artificial, no hemos visto una revolución en los videojuegos impulsada por esta tecnología. El autor plantea la pregunta de por qué, después de años de promesas, la IA no ha generado experiencias de juego
Un ingeniero ha simplificado significativamente los modelos de lenguaje grandes (LLM) como GPT, creando una versión funcional en tan solo 200 líneas de código Python. Esta hazaña, denominada 'microgpt', representa un hito en la accesibilidad y comprensión de la tecnología detrás de herramientas como
Un desarrollador ha creado una implementación en lenguaje C99 de un modelo GPT de estilo 'character-level', denominado MicroGPT-C, que permite un entrenamiento y generación de texto significativamente más rápidos que las implementaciones en Python. El proyecto, publicado en GitHub, busca ofrecer una
