30 noticias
Investigadores presentan Proxy-KD, un método de destilación de conocimiento diseñado para transferir el saber de grandes modelos de lenguaje (LLM) propietarios y opacos —como GPT-4— a modelos más pequeños y ligeros. La destilación de conocimiento tradicional requiere acceder a los estados internos d
Un equipo de investigación ha documentado una limitación sistemática en los grandes modelos de lenguaje autorregresivos: la bautizada como "maldición de la inversión". El fenómeno consiste en que, cuando un modelo se entrena con frases del tipo "A es B", no generaliza automáticamente hacia la direcc
En febrero de 2019, OpenAI presentó GPT-2, un modelo de lenguaje basado en el decodificador del transformer que suponía un escalado directo de GPT-1: 1.500 millones de parámetros —diez veces más que su predecesor—, entrenado sobre 40 GB de texto web y entrenado en 48 bloques de decodificador con una
Los modelos de lenguaje grandes (LLM) como GPT-4 no procesan texto directamente: lo fragmentan en unidades llamadas tokens, las únicas entidades que el modelo realmente percibe. Cada modelo dispone de un vocabulario fijo de tokens decidido durante su entrenamiento, por eso GPT-4 y Llama 3 descompone
Los modelos de lenguaje de gran tamaño (LLM) se construyen apilando bloques transformer una y otra vez, por lo que entender la maquinaria del transformer es la base para comprender su funcionamiento. Esta guía recorre los componentes esenciales de un LLM moderno sin profundizar en las matemáticas, c
Epicure representa un avance significativo en la comprensión de la gastronomía mediante la inteligencia artificial. Su objetivo principal es mapear la 'geometría emergente' de los ingredientes culinarios, traduciendo la experiencia culinaria en un espacio matemático comprensible. Esto es crucial por
La ingeniería de prompts es una disciplina clave para optimizar el rendimiento de los modelos de lenguaje, y este estudio explora un aspecto a menudo subestimado: el tono y la cortesía de la solicitud. La importancia de este trabajo radica en desmentir la intuición social de que ser amable con una I
El rápido avance de los modelos de lenguaje grandes (LLMs), como ChatGPT, ha generado una gran expectación, pero también una preocupación persistente: las “alucinaciones”. En términos sencillos, una alucinación en un LLM es cuando el modelo genera información incorrecta o inventada, presentándola co
Este artículo de investigación, titulado "Transformers son inherentemente concisos", explora una propiedad fundamental y sorprendente de los modelos Transformer, la arquitectura que impulsa la mayoría de los modelos de lenguaje grandes (LLMs) como ChatGPT. Tradicionalmente, los Transformers se han c
Los Modelos de Lenguaje Grandes (LLMs), como ChatGPT, han revolucionado la forma en que interactuamos con la tecnología. Pero, ¿cómo funcionan realmente? Este resumen explica el proceso, desde los datos brutos hasta la creación de un asistente conversacional. **¿Qué son y por qué son importantes?*
DeepSeek-V4 es una nueva generación de modelos de lenguaje de gran escala (LLM) desarrollados por DeepSeek AI, que se destacan por su capacidad para procesar contextos extremadamente largos, hasta un millón de tokens. Esto representa un avance significativo, ya que la mayoría de los LLM tradicionale
El artículo de Boaz Sobrado, "The Rise of the Em-Dash in Hacker News Comments", explora un fenómeno curioso y aparentemente trivial: el aumento en el uso del guion largo (em-dash, `—`) en los comentarios de Hacker News (HN). Aunque pueda parecer una observación menor, este cambio refleja sutiles tra
El artículo "The Future of Everything is Lies, I Guess" explora la realidad detrás de la actual ola de entusiasmo por la "Inteligencia Artificial" (IA), argumentando que lo que se conoce como IA son, en realidad, sofisticadas tecnologías de aprendizaje automático (ML) capaces de procesar y generar g
Este artículo de investigación explora cómo los modelos de lenguaje grandes (LLMs), como Claude Sonnet 4.5, simulan emociones y cómo estas simulaciones impactan su comportamiento. No se trata de que los LLMs *sientan* emociones en el sentido humano, sino que han desarrollado representaciones interna
El campo de la inteligencia artificial, específicamente el aprendizaje automático, ha logrado avances significativos en la capacidad de los modelos de lenguaje para 'razonar'. Tradicionalmente, este razonamiento se ha logrado a través de técnicas de aprendizaje por refuerzo (RL), donde el modelo apr
Este estudio revela un comportamiento sorprendente y consistente en los modelos de lenguaje más avanzados, como GPT-5.2 y Claude Opus 4.6: cuando se les pide que continúen una conversación basada en conceptos que carecen de significado o existencia (lo que se denomina 'vacío semántico'), estos model
Este artículo de Q Labs describe un avance significativo en la eficiencia del uso de datos en el entrenamiento de modelos de lenguaje, logrando una mejora de 10 veces utilizando su técnica 'NanoGPT Slowrun'. Esto desafía las leyes de escalamiento convencionales, como las propuestas por Chinchilla, q
Las hojas de cálculo son herramientas omnipresentes en el mundo del análisis de datos, utilizadas en prácticamente todos los sectores. Sin embargo, trabajar con ellas a menudo implica la creación de fórmulas complejas, limpieza de datos y una comprensión profunda de su estructura, tareas que son pro
El artículo de NearZero.software explora un cambio radical en el panorama de la reparación tecnológica, ejemplificado por la figura de Tom Hartmann, un 'Software Mechanic'. Tradicionalmente, la industria tecnológica ha mantenido una clara distinción entre 'hardware' (la parte física de los dispositi
## Word Graph: Visualizando las Relaciones Semánticas entre Palabras En el vasto universo del lenguaje, las palabras no existen de forma aislada. Cada término está intrínsecamente conectado a otros, a través de sinónimos, antónimos, relaciones de causa y efecto, y una miríada de otros vínculos semá
El campo de la inteligencia artificial, y en particular el modelado del lenguaje, enfrenta un desafío creciente: la escasez de datos. Si bien la capacidad de cómputo ha aumentado exponencialmente, la cantidad de datos de entrenamiento disponibles no sigue el mismo ritmo. Esto crea un cuello de botel
El campo de la inteligencia artificial, particularmente en modelos de lenguaje grandes (LLMs) como ChatGPT, se enfrenta a un desafío: la generación de texto es inherentemente lenta. El proceso de 'decodificación autoregresiva', que es la forma tradicional en que estos modelos generan texto, implica
Este artículo de investigación explora un descubrimiento fascinante sobre cómo funcionan los modelos de lenguaje grandes (LLMs). Tradicionalmente, se ha creído que los LLMs adoptan diferentes 'personalidades' o comportamientos a través de técnicas externas como el ajuste fino, el uso de indicaciones
El auge de los modelos de lenguaje grandes (LLMs) como Llama ha democratizado la inteligencia artificial, permitiendo a usuarios con menos recursos adaptar estos modelos a tareas específicas mediante técnicas como LoRA (Low-Rank Adaptation). LoRA funciona 'congelando' la mayor parte de los parámetro
El proyecto "Text-Based Google Directions" (o Direcciones de Google Basadas en Texto) es una iniciativa que permite obtener indicaciones de ruta de Google Maps utilizando únicamente texto, sin necesidad de una interfaz gráfica. Esto puede parecer simple, pero implica una complejidad técnica consider
Los Modelos de Lenguaje Grandes (LLMs), como GPT-4 o Gemini, han demostrado una capacidad asombrosa para razonar y resolver problemas, logrando resultados impresionantes en diversas tareas. Sin embargo, a pesar de estos avances, persisten fallos de razonamiento significativos, incluso en escenarios
El rápido avance de los modelos de lenguaje (LLMs) ha permitido crear sistemas capaces de procesar y generar texto con una coherencia y sofisticación impresionantes. Sin embargo, un cuello de botella crucial en su escalabilidad es la gestión de la memoria, específicamente el 'KV cache' (Key-Value ca
El artículo "Something Big Is (not) Happening" explora las limitaciones actuales de los grandes modelos de lenguaje (LLMs) a pesar de su impresionante capacidad para generar código. La premisa central es que, si bien los LLMs son excelentes en tareas que se pueden definir como la creación de algo qu
Este artículo técnico explora una evaluación crítica de las 'barreras de seguridad' (guardrails) multilingües y sensibles al contexto en modelos de lenguaje grandes (LLMs), específicamente en el contexto humanitario. Los LLMs, impulsados por la inteligencia artificial, están siendo utilizados cada v
El artículo "Attention is All You Need" introduce una nueva arquitectura de red neuronal llamada Transformer, que revolucionó el campo del procesamiento del lenguaje natural y más allá. Tradicionalmente, los modelos de secuencia a secuencia, como los utilizados en traducción automática, se basaban e
