creative_work · 8 menciones
El Transformer es una arquitectura de red neuronal que ha redefinido el campo de la inteligencia artificial, introducida en 2017 con el artículo 'Attention is All You Need'. Su principal ventaja radica en el mecanismo de atención auto, que permite procesar secuencias completas y capturar dependencia
Este artículo explica, desde una perspectiva práctica y accesible, cómo aprovechar varios GPU reciclados para ejecutar modelos de lenguaje de gran tamaño en un servidor doméstico. Tras una introducción al funcionamiento básico de los transformers y al concepto de token, el texto repasa por qué la ge
Demis Hassabis, cofundador y consejero delegado de Google DeepMind, dejará sus funciones ejecutivas diarias para convertirse en presidente de la división y chief scientist de Alphabet, matriz de Google. Su hasta ahora colaborador Koray Kavukcuoglu, basado en Estados Unidos, asumirá la dirección oper
El sitio web "30 papers" recopila una lista de lecturas que, según el rumor, el cofundador de OpenAI Ilya Sutskever entregó al ingeniero John Carmack. El sitio reconoce que hasta ahora solo tiene 27 de los 30 trabajos y solicita ayuda para completar la versión canónica. La selección funciona como un
Un adolescente de 13 años ha entrenado por su cuenta, con recursos propios, un modelo de lenguaje de aproximadamente 288 millones de parámetros llamado DIMBA, que presenta una arquitectura poco habitual: combina la eficiencia de contexto de Mamba-2 con la generación paralela de los modelos de difusi
OpenAI ha incorporado a dos figuras de relieve en la antesala de su salida a bolsa: el investigador Noam Shazeer, cofundador de Character AI y exinvestigador de Google DeepMind, y Dean Ball, exresponsable de política de inteligencia artificial de la Casa Blanca durante la administración Trump. Shaze
Una investigación publicada en PNAS Nexus examina una limitación estructural de los modelos de lenguaje basados en la arquitectura transformer: la ausencia de un mecanismo explícito de control ejecutivo de la atención, la función que en el cerebro humano permite resolver conflictos entre estímulos c
Un desarrollador ha creado un taller práctico para permitir a usuarios entrenar modelos GPT en laptops, incluso sin experiencia previa en aprendizaje automático. Inspirado por el proyecto 'nanoGPT' de Andrej Karpathy, el taller simplifica el proceso, reduciendo el tamaño del modelo a aproximadamente
