Un desarrollador experimentado afirma que, por primera vez, ya no elige su modelo de IA principal por inteligencia bruta, sino por velocidad de respuesta. Considera que los modelos actuales en el nivel de Opus 4.6 ya son "suficientemente inteligentes" para tareas cotidianas como programar, investigar, preparar presentaciones o analizar datos, por lo que el cuello de botella ha pasado a ser la latencia.
El autor equipara los 100 tokens por segundo con los 100 milisegundos que el cerebro humano percibe como instantáneos: por debajo de 50 tok/s el uso resulta lento, entre 100 y 200 tok/s se siente ágil y superar los 200 tok/s resulta casi inquieto. Modelos open weights recientes como GLM 5.2 o DeepSeek V4 Flash GA ofrecen ese rendimiento a precios muy inferiores a los de los modelos frontera cerrados: GLM 5.2 ronda 0,42 dólares por millón de tokens de entrada, alrededor del 5 % del precio de Opus, y proveedores como DeepInfra sirven 109 tok/s a coste bajo.
La velocidad, sin embargo, tiene un techo físico. Aplicando el principio de Pareto y la ley de Amdahl, un modelo cinco veces más rápido solo duplica la duración del turno, porque el resto del tiempo se pierde en llamadas a herramientas, decisiones humanas y hardware local, cuyo coste se ha disparado por la demanda de IA. A medio plazo, la nueva generación de GPU con memoria HBM4, como Nvidia Vera Rubin y AMD MI400, podría impulsar el rendimiento por encima de 500 tok/s hacia 2027, desatando una guerra de precios en el extremo inferior del mercado. La incógnita es si los modelos de 2-3 billones de parámetros acabarán siendo muy superiores para las tareas diarias o si el sweet spot actual los hará parecer rudimentarios.