Un análisis argumenta que la ejecución de modelos de inteligencia artificial en dispositivos personales (ordenadores o teléfonos) nunca sustituirá a los centros de datos especializados, pese al entusiasmo recurrente que despierta cada lanzamiento de modelos de código abierto.
El texto sostiene que los modelos locales resultan demasiado débiles para un uso generalizado: las arquitecturas de frontera actuales solo pueden ejecutarse en clústeres de GPU en centros de datos, y aunque los modelos pequeños mejoran con el tiempo, la preferencia revelada de los usuarios apunta siempre al modelo más potente disponible. A medida que los sistemas son más capaces, las expectativas crecen y la frustración con modelos limitados empuja a elegir alternativas más avanzadas.
En el plano económico, el autor defiende que los modelos en la nube son más baratos. Ejecutar inferencia en casa implica comprar hardware, asumir costes energéticos de entre 50 y 300 dólares mensuales y desaprovechar capacidad de cómputo, ya que una sola solicitud no permite agrupar operaciones (batching), algo que sí ocurre en los centros de datos al servir a cientos de usuarios simultáneos. Además, las GPU de centro de datos como la NVIDIA B200 multiplican por aproximadamente tres el rendimiento y por casi cuatro el ancho de banda de memoria respecto a una RTX 4090, lo que sitúa la eficiencia de la inferencia local en torno a 30 veces peor.
El artículo contempla escenarios en los que los modelos locales podrían imponerse (prohibiciones gubernamentales, estancamiento del progreso en modelos grandes o meseta de capacidad), pero los considera improbables. Concluye que sí existirá un nicho para ellos en aplicaciones de baja latencia, como asistentes de voz, o para usuarios que valoren el control total de su infraestructura, aunque la mayoría seguirá delegando la inferencia en centros de datos.