La industria de la IA entra en la era de la inferencia y, ante la escasez de centros de datos, varias startups proponen aprovechar la potencia gráfica inutilizada de los PC de los usuarios. Empresas como Far Labs y Evolving Edge han desarrollado aplicaciones, de código abierto según sus responsables, que ejecutan tareas de inferencia de IA en GPUs ociosas a cambio de una retribución, un modelo que comparan con Uber o Airbnb aplicado al cómputo.
El periodista John Federico, CEO de Evolving Edge, explica que el software solo se activa cuando el usuario lo permite y respeta horarios, además de no acceder a datos locales. Sin embargo, la rentabilidad para el dueño del hardware es muy ajustada. Tom's Hardware estima, tomando como referencia a Salad (que vendía potencia de GPU a 0,02 dólares la hora y repartía 14 centavos por dólar generado), que una RTX 4090 operando 24 horas al día con un consumo de 350-450 W generaría una factura eléctrica de entre 40 y 50 dólares mensuales, frente a ingresos escasos.
La propuesta busca sortear los cuellos de botella que sufren las startups frente a las grandes tecnológicas, que acaparan hardware y suben precios de alquiler. Funcionaría además como red de respaldo ante caídas de nubes centralizadas como AWS. Queda no obstante en el aire el desgaste de componentes como pasta térmica o rodamientos, en un hardware cada vez más caro por la presión de la propia industria de la IA.