openTPU es un acelerador de inteligencia artificial de código abierto que integra el diseño de hardware, la simulación y el compilador en un único repositorio. Su objetivo es permitir que agentes de IA diseñen y ejecuten su propia inferencia en hardware, utilizando una tarjeta FPGA Xilinx Kintex-7 (xc7k480t) con conectividad PCIe. El proyecto destaca por su transparencia técnica, permitiendo al usuario examinar desde el nivel de bits hasta la arquitectura de sistema, incluyendo la instrucción set (ISA) y el lenguaje de kernels.
El sistema ha demostrado capacidad para ejecutar modelos modernos como Qwen3.5, LFM2.5 y Gemma 4 con pesos reales en la tarjeta Inspur YPCB-00338. Las pruebas indican que el hardware produce los mismos tokens que el simulador bit a bit, garantizando la precisión. En términos de rendimiento, el sistema alcanza velocidades de decodificación de hasta 85.8 tokens por segundo para el modelo LFM2.5-230M con cuantización 4-bit, y mantiene una utilización de ancho de banda de DRAM del 85% de su capacidad máxima. La arquitectura utiliza una unidad de matriz sistólica de cuatro columnas y controladores LiteDRAM calibrados por la CPU interna del core, eliminando la dependencia del host para la calibración de memoria. Además, el proyecto soporta modelos de mezcla de expertos (MoE) grandes mediante el streaming de expertos desde el almacenamiento del host, optimizando el uso de la memoria DRAM de la tarjeta.