OpenAI y Broadcom han anunciado el lanzamiento de Jalapeño, un chip ASIC diseñado desde cero para ejecutar inferencia de modelos de lenguaje de gran tamaño en centros de datos a gran escala. Ambas compañías sostienen que se trata de la primera generación de un proyecto a largo plazo, con sucesivas iteraciones previstas, y subrayan que el diseño se ha desarrollado en apenas nueve meses.
El chip es el resultado de la estrecha colaboración entre Broadcom, fabricante de silicio con larga trayectoria en el sector, e investigadores de OpenAI, que aportaron información detallada sobre las necesidades reales de los grandes modelos y sobre la hoja de ruta de futuros productos de la compañía. Según Broadcom, este enfoque permite que Jalapeño esté más especializado para las cargas de trabajo actuales de inferencia de LLM que los chips genéricos que equipan los centros de datos existentes.
OpenAI asegura que las pruebas iniciales muestran una eficiencia energética (rendimiento por vatio) sustancialmente superior a la del estado del arte actual, aunque la compañía reconoce que aún no ha finalizado las mediciones de rendimiento y que presentará un informe técnico detallado en los próximos meses.