Noticias que mencionan Transformer

Modelos de lenguaje con latentes latentes reducen la perplexidad

Un equipo de investigación ha presentado la Lattice of Latents, una arquitectura de modelos de lenguaje que incrementa la capacidad computacional mediante estados latentes horizontales persistentes, en lugar de profundizar las capas o aumentar el ancho de las conexiones residuales. A diferencia de l

La IA avanza rápido en matemáticas y acelerará la investigación de IA

El autor del ensayo argumenta que la inteligencia artificial está a punto de automatizar la investigación de IA, una predicción que ha evolucionado de ser especulativa a una certeza basada en datos recientes. Según METR, la tasa de progreso de Anthropic en tareas bien definidas ha duplicado su ritmo

Modelo de lenguaje local para ESP32-S3 con interfaz táctil

Local_AI_esp32 es un proyecto de código abierto que implementa un modelo de lenguaje entrenado desde cero y ejecutable de forma offline en microcontroladores ESP32-S3. El sistema permite la interacción mediante teclado táctil en la placa XIAO ESP32-S3 o a través de conexión USB en el DevKit, ofrecie

Evidencia de superposición lineal en modelos de lenguaje grandes

Un nuevo estudio demuestra que los Modelos de Lenguaje Grandes (LLM) poseen una propiedad fundamental de linealidad oculta bajo la complejidad no lineal de su arquitectura. A través de la Superposición Lineal, los LLM generan una superposición de distribuciones de tokens futuros cuando se combinan l

Explicación técnica de la arquitectura Transformer y su funcionamiento

El Transformer es una arquitectura de red neuronal que ha redefinido el campo de la inteligencia artificial, introducida en 2017 con el artículo 'Attention is All You Need'. Su principal ventaja radica en el mecanismo de atención auto, que permite procesar secuencias completas y capturar dependencia

El regreso de los modelos de difusión continua para lenguaje

La investigación en modelos de difusión continua para el procesamiento del lenguaje natural experimenta un notable resurgimiento tras años de estancamiento, desafiando la dominancia histórica de los métodos discretos y autoregresivos. Aunque las técnicas de difusión discreta habían desplazado a las

Las palabras son un subproducto de la conciencia; en los LLM ocurre al revés

Un ensayo reflexivo parte de una pregunta aparentemente simple: ¿de dónde vienen las palabras? Para los humanos, la idea precede al lenguaje; las palabras son solo la envoltura de un pensamiento o sentimiento previo. En un modelo de lenguaje grande (LLM) sucede lo contrario: el sistema predice la si

OpenAI ficha a Noam Shazeer y a Dean Ball antes de su salida a bolsa

OpenAI ha incorporado a dos figuras de relieve en la antesala de su salida a bolsa: el investigador Noam Shazeer, cofundador de Character AI y exinvestigador de Google DeepMind, y Dean Ball, exresponsable de política de inteligencia artificial de la Casa Blanca durante la administración Trump. Shaze

GPT-2, el modelo que OpenAI consideró demasiado peligroso para publicar

En febrero de 2019, OpenAI presentó GPT-2, un modelo de lenguaje basado en el decodificador del transformer que suponía un escalado directo de GPT-1: 1.500 millones de parámetros —diez veces más que su predecesor—, entrenado sobre 40 GB de texto web y entrenado en 48 bloques de decodificador con una

Stanford CS336: un curso para construir un modelo de lenguaje desde cero

Stanford, una de las universidades más prestigiosas del mundo en ciencias de la computación, ha puesto en marcha el curso CS336, una asignatura singular que propone a los estudiantes construir un modelo de lenguaje de gran tamaño (LLM) desde cero, replicando el espíritu de los legendarios cursos de