La decisión de autoalojar modelos de lenguaje versus utilizar APIs alojadas depende de cuatro variables predecibles: volumen de tokens, consistencia del tráfico, calidad del modelo y capacidad de operaciones. Este artículo técnico de DigitalOcean establece un marco para convertir estos datos en un coste por millón de tokens, comparando precios de APIs con la autoalojación en GPUs de DigitalOcean. El coste de autoalojamiento es el coste horario de la infraestructura dividido por los tokens servidos, mientras que las APIs ofrecen un coste variable por llamada. Las APIs actuales van desde 0,17 hasta 20 dólares por millón de tokens, dependiendo del modelo y la relación entrada/salida. La autoalojación solo es rentable si el tráfico es suficientemente alto para que el coste de la API supere el alquiler mensual de la GPU. Por ejemplo, una GPU L40S cuesta 1.146 dólares al mes y puede procesar 2.650 millones de tokens mensuales a plena carga. Reemplazar una API de GPT-6 Sol (4 dólares por millón) con esta GPU requiere procesar 9,4 millones de tokens al mes para alcanzar el punto de equilibrio. En cambio, con modelos de bajo coste como GPT-6 Luna (0,20 dólares), la autoalojación nunca es rentable. Los modelos de pesos abiertos, como gpt-oss-120b a 0,25 dólares por millón, ya superan a la mayoría de las GPUs privadas. La autoalojación solo gana si se requiere control de datos específico o modelos ajustados, no solo por precio.
Noticias agregadas con IA