Cedana ha desarrollado una herramienta de planificación de capacidad que permite a los profesionales de la inteligencia artificial estimar el número de GPUs necesarias para procesar volúmenes específicos de tokens. Esta calculadora resuelve la dificultad de visualizar métricas abstractas, como un billón de tokens mensuales, al vincularlas directamente con el hardware disponible. El sistema permite al usuario introducir un volumen de tokens y seleccionar un modelo de IA específico, devolviendo una estimación de GPUs con un rango de confianza que refleja la incertidumbre de los datos subyacentes.
La herramienta se basa en benchmarks públicos y estimaciones técnicas para diferentes arquitecturas de hardware, incluyendo NVIDIA H100, B200, A100 y V100, así como modelos de IA como Llama 3.3 70B, DeepSeek V4 Flash y GLM-5.3. El cálculo considera variables críticas como la velocidad de inferencia por GPU, la utilización del hardware y la mezcla de tokens (input vs. output). Por ejemplo, procesar un billón de tokens en un mes con el modelo Llama 3.3 70B requiere aproximadamente 367 GPUs H100, con una confianza moderada.
El diseño de la herramienta destaca por su transparencia: cada estimación incluye enlaces a las fuentes originales de los datos y permite a los usuarios sustituir valores predeterminados por mediciones propias de su entorno. Los resultados son estimaciones de planificación, no garantías exactas, con un margen de error estimado de dos veces en cada dirección para los presets medidos. La herramienta no incluye factores adicionales como el caché de prompts o la decodificación especulativa, por lo que los usuarios deben medir sus modelos en su hardware real antes de realizar inversiones de infraestructura.