Un desarrollador ha logrado ejecutar un modelo Transformer de una sola capa en un ordenador vintage PDP-11, un hito que demuestra la capacidad de hardware antiguo para realizar tareas de inteligencia artificial complejas. El proyecto, denominado 'ATTN/11', es una continuación de trabajos anteriores que ya habían logrado ejecutar redes neuronales básicas en ordenadores de la década de 1970. El Transformer, optimizado para funcionar con recursos limitados, utiliza una arquitectura simplificada y se entrena para invertir secuencias de dígitos. La implementación inicial en Fortran IV requería horas de entrenamiento, pero se optimizó a un tiempo de entrenamiento de solo 5.5 minutos gracias a la sintonización de las tasas de aprendizaje por capa. El proyecto destaca el uso de un lenguaje de programación de bajo nivel (lenguaje ensamblador) y técnicas de aritmética de punto fijo para maximizar la eficiencia en un entorno con memoria y potencia de procesamiento limitadas. El desarrollo se apoyó en el framework funcional 'Sheaf' para la validación y depuración de la aritmética, permitiendo la detección temprana de errores mediante el seguimiento de los tensores. Este logro resalta la adaptabilidad de los modelos de aprendizaje profundo y la posibilidad de ejecutarlos en hardware con restricciones significativas.
Noticias agregadas con IA