Noticias que mencionan GPT-2

Guía técnica sobre las encodings posicionales en los LLM modernos

Este artículo técnico explora los mecanismos mediante los cuales los modelos de lenguaje de gran escala (LLM) codifican y procesan la información de posición de los tokens. A diferencia de las explicaciones superficiales, el texto ofrece un recorrido didáctico que combina ejemplos visuales, cálculos

Jev: la burbuja de la IA que cae tras su hype inicial

Jev, un clasificador general de propósito lanzado por TypeSafe AI, ha experimentado una rápida ascensión y posterior declive en la industria de la inteligencia artificial. El modelo, presentado hace 33 días, se posiciona como una alternativa a los grandes modelos de lenguaje (LLM) por su bajo coste

Premios literarios que reconocen la colaboración con inteligencia artificial

La inteligencia artificial ha transformado la creación literaria, generando un debate sobre su integración en el proceso de escritura. Este artículo documenta una selección de premios literarios otorgados a obras donde la IA fue utilizada, permitida o sospechosa de su uso, destacando la evolución de

El compilador prometía acabar con la programación, pero la IA solo la acelera

El artículo analiza la evolución de la automatización en el desarrollo de software, desde el lenguaje FORTRAN de IBM en 1954 hasta las herramientas de IA actuales. El autor argumenta que, aunque la IA ha reducido el tiempo de escritura de código, no ha eliminado la programación ni el depuración, sin

Conway Research lanza Underdog, un asistente de IA local y privado

Conway Research, fundada por el programador autodidacta Sigil Wen, ha lanzado una beta cerrada de Underdog, un asistente de inteligencia artificial diseñado para operar íntegramente en el dispositivo del usuario. Esta herramienta destaca por su enfoque en la privacidad extrema, eliminando la necesid

Explicación técnica de la arquitectura Transformer y su funcionamiento

El Transformer es una arquitectura de red neuronal que ha redefinido el campo de la inteligencia artificial, introducida en 2017 con el artículo 'Attention is All You Need'. Su principal ventaja radica en el mecanismo de atención auto, que permite procesar secuencias completas y capturar dependencia

El abismo entre el riesgo teórico de IA y la realidad biológica

La percepción pública de que una superinteligencia artificial podría extinguir a la humanidad se ha intensificado tras declaraciones de Evan Hubinger, de Anthropic, quien estimó un 10% de probabilidad de tal escenario. Sin embargo, expertos señalan que este riesgo carece de base empírica inmediata,

Timnit Gebru critica el discurso apocalíptico de la IA

Timnit Gebru, investigadora de IA y autora del libro 'Deep Unlearning', sostiene que las advertencias sobre el fin de la civilización por parte de la inteligencia artificial son una distracción de los daños reales que genera la tecnología. En una entrevista con WIRED, Gebru cuestiona la atención med

La humanidad construyó los Registros del DESTINO por accidente

El autor parte de su experiencia con el videojuego Chrono Cross para construir una analogía con el presente. En el juego, los habitantes del archipiélago de El Nido consultan unos terminales conocidos como los Registros del DESTINO (FATE), dispositivos que en realidad son terminales conectados a una

Llama.app, el hogar oficial de llama.cpp para ejecutar IA en local

Llama.app se presenta como la página oficial del proyecto de código abierto llama.cpp, una iniciativa pensada para ejecutar modelos de inteligencia artificial de frontera directamente en el ordenador del usuario, sin depender de servicios en la nube, claves de API ni telemetría. Toda la información

Gigatoken: un tokenizador en Rust hasta 1000 veces más rápido que HuggingFace

Gigatoken es una biblioteca de tokenización para modelos de lenguaje escrita en Rust que alcanza velocidades de hasta 24,53 GB/s en CPU AMD EPYC 9565 de 144 núcleos, frente a las 24,8 MB/s que ofrece el tokenizador de HuggingFace para GPT-2. Esto representa una aceleración cercana a 989 veces respec

Portar nanochat a TPU: lo que se mantiene de PyTorch y lo que se rompe

El desarrollador tucan9389 ha portado nanochat, el proyecto de entrenamiento de modelos de chat de Andrej Karpathy pensado para nodos de 8 GPU H100, a TPU usando JAX, Flax y Pallas. El objetivo del puerto, bautizado nanochat-jax, es conservar al máximo la configuración y arquitectura originales y ve

nanoeuler: un LLM estilo GPT-2 construido desde cero en C y CUDA

nanoeuler es un proyecto educativo e investigador que implementa un modelo de lenguaje tipo GPT-2 desde cero, sin recurrir a PyTorch, autograd ni librerías de aprendizaje automático. Todo el pipeline de entrenamiento —el forward, el backward, un tokenizador byte-level BPE escrito a mano, el preentre

GPT2-BASIC: un transformador en DOS con aritmética de punto fijo

GPT2-BASIC es un runtime de transformer y asistente local implementado en BASIC para máquinas de clase DOS, compilado con FreeBASIC y verificado en QEMU. No es un frontend web ni un envoltorio de API: carga artefactos de modelo desde disco, ejecuta inferencia tipo GPT con aritmética entera de punto

GPT-2, el modelo que OpenAI consideró demasiado peligroso para publicar

En febrero de 2019, OpenAI presentó GPT-2, un modelo de lenguaje basado en el decodificador del transformer que suponía un escalado directo de GPT-1: 1.500 millones de parámetros —diez veces más que su predecesor—, entrenado sobre 40 GB de texto web y entrenado en 48 bloques de decodificador con una

Anthropic oculta su modelo más avanzado por temor a un uso peligroso

La empresa de inteligencia artificial Anthropic anunció que su nuevo modelo Claude Mythos es tan avanzado en la detección de vulnerabilidades de ciberseguridad que representa un riesgo catastrófico para la sociedad si cae en manos equivocadas, por lo que no será liberado públicamente de inmediato. E

Entrena GPT en tu laptop: Taller práctico y accesible

Un desarrollador ha creado un taller práctico para permitir a usuarios entrenar modelos GPT en laptops, incluso sin experiencia previa en aprendizaje automático. Inspirado por el proyecto 'nanoGPT' de Andrej Karpathy, el taller simplifica el proceso, reduciendo el tamaño del modelo a aproximadamente

IA: ¿Costos crecientes frenan su rápido avance?

Un análisis reciente plantea una pregunta crucial sobre el futuro de la inteligencia artificial: ¿están aumentando los costos de los agentes de IA a un ritmo exponencial? Si bien los modelos de IA han demostrado un crecimiento exponencial en la capacidad de realizar tareas, desde tareas que tomarían

Deja la IA: Ingeniero busca fundamentos en la programación

Un ingeniero de Aily Labs, empresa especializada en inteligencia artificial, ha decidido tomarse un descanso de la IA para enfocarse en la programación manual, residiendo actualmente en Brooklyn como parte de un “retiro de codificación”. Tras dos años trabajando en Aily Labs, desarrollando agentes d

IA potente limitada: Anthropic frena nuevo modelo

Anthropic ha restringido el acceso a su nuevo modelo de IA, Claude Mythos, debido a su potencial para generar exploits de seguridad informática a gran escala. A diferencia de lanzamientos anteriores, Mythos no estará disponible para el público general, ya que podría permitir a atacantes descubrir vu

OpenAI frena IA: riesgo de noticias falsas

La organización de investigación de inteligencia artificial OpenAI ha desarrollado un nuevo modelo de generación de texto, GPT-2, capaz de producir prosa coherente y adaptable a diversos estilos. Sin embargo, la empresa ha decidido no publicar el código completo del algoritmo, citando preocupaciones

Transformadores: estudio revela desafíos en cuantificación binaria

Una investigación reciente, alojada en el repositorio SALOMI en GitHub, ha revelado limitaciones en la cuantificación binaria de transformadores, una técnica utilizada para reducir el tamaño y mejorar la eficiencia de los modelos de lenguaje grandes (LLM). El estudio, centrado en la cuantificación e

IA: la memoria de las conversaciones tiene un costo

La forma en que los modelos de lenguaje grandes (LLM) como ChatGPT gestionan la memoria de las conversaciones, conocida como 'KV cache', tiene un costo físico y económico significativo. Cada interacción, incluso una pregunta sencilla, se traduce en datos almacenados en la memoria de la GPU, con GPT-

Mr. Chatterbox: IA con sabor victoriano

Trip Venturella ha lanzado "Mr. Chatterbox", un modelo de lenguaje único que se entrena exclusivamente con textos de dominio público de la Biblioteca Británica, datados entre 1837 y 1899. Este enfoque elimina cualquier dato de entrenamiento posterior a 1899, creando un modelo con una perspectiva y v

LLMs y programación: el futuro del desarrollo

Este artículo explora cómo el autor está utilizando modelos de lenguaje grandes (LLMs) para desarrollar software de manera más eficiente y efectiva. El punto central es que, en lugar de reemplazar a los programadores, los LLMs están transformando el rol, desplazando el enfoque de la escritura de cód

IA en videojuegos: ¿dónde están las promesas?

El artículo de Frank Lantz explora una paradoja intrigante: a pesar del auge de la inteligencia artificial, no hemos visto una revolución en los videojuegos impulsada por esta tecnología. El autor plantea la pregunta de por qué, después de años de promesas, la IA no ha generado experiencias de juego

Ingeniero simplifica modelos GPT a 200 líneas de código

Un ingeniero ha simplificado significativamente los modelos de lenguaje grandes (LLM) como GPT, creando una versión funcional en tan solo 200 líneas de código Python. Esta hazaña, denominada 'microgpt', representa un hito en la accesibilidad y comprensión de la tecnología detrás de herramientas como

GPT en C: modelo más rápido para dispositivos

Un desarrollador ha creado una implementación en lenguaje C99 de un modelo GPT de estilo 'character-level', denominado MicroGPT-C, que permite un entrenamiento y generación de texto significativamente más rápidos que las implementaciones en Python. El proyecto, publicado en GitHub, busca ofrecer una