Noticias que mencionan BERT

Comparación técnica entre decodificadores y codificadores en Strands Decider

El equipo de Strands Labs ha publicado un análisis técnico que compara el rendimiento de su modelo 'strands-decider-2B' (un decodificador) con modelos codificadores bidireccionales como ModernBERT y ettin-encoder-1b. El objetivo es determinar si la arquitectura bidireccional ofrece ventajas signific

UltraBERT supera los límites de preentrenamiento de BERT

UltraBERT es un nuevo modelo de codificador bidireccional diseñado para superar las limitaciones de rendimiento de los modelos BERT tradicionales. A diferencia de las implementaciones anteriores, que heredaban recetas de preentrenamiento de modelos de lenguaje de gran escala (LLM), UltraBERT introdu

Por qué las probabilidades de Jev no están calibradas

Jev, el primer modelo 'System One' de TypeSafe, promete generar decisiones tipadas con probabilidades calibradas, lo que permite a los usuarios confiar en la confianza de las respuestas. Sin embargo, un análisis técnico reciente argumenta que esta afirmación es problemática porque la calibración no

Cómo construir un modelo de lenguaje por difusión: guía técnica

Los modelos de lenguaje por difusión (DLM) representan una alternativa a los modelos autorregresivos que dominan el campo. Mientras los autorregresivos generan texto token a token de izquierda a derecha, los modelos de difusión parten de una secuencia completa ruidosa —en este caso, totalmente enmas

¿Se puede descifrar cómo razona un modelo de lenguaje?

Los modelos de lenguaje grandes redactan ensayos, resuelven problemas matemáticos y generan código, pero su lógica interna sigue siendo en gran medida opaca. Investigadores como Thomas Icard, profesor de filosofía y ciencias de la computación en la Universidad de Stanford, trabajan en la disciplina

HN: Investigación de LLM pierde interés

Un análisis reciente realizado por Dylan Castillo revela una disminución en la presencia de investigaciones sobre modelos de lenguaje grandes (LLM) en Hacker News (HN), una plataforma popular entre programadores y entusiastas de la tecnología. Utilizando a Claude, un asistente de IA, Castillo rastre

ia en retro: transformer corre en ordenador vintage

Un desarrollador ha logrado ejecutar un modelo Transformer de una sola capa en un ordenador vintage PDP-11, un hito que demuestra la capacidad de hardware antiguo para realizar tareas de inteligencia artificial complejas. El proyecto, denominado 'ATTN/11', es una continuación de trabajos anteriores