En 2024, una investigadora independiente abandonó su trabajo en una empresa FAANG para dedicarse a la investigación de inteligencia artificial. Para llevar a cabo sus experimentos de aprendizaje profundo e inferencia en modelos de lenguaje, necesitaba un servidor GPU potente. Después de investigar opciones, decidió construir 'grumbl', un servidor personalizado equipado con 6 GPUs NVIDIA RTX 6000 Ada, con un costo total de aproximadamente 48.000 dólares.
La elección de estas GPU específicas se basó en una evaluación cuidadosa del rendimiento precio/rendimiento comparado con las opciones más caras como H100 o A100. La RTX 6000 Ada ofrecía el mejor equilibrio entre capacidad computacional y costo operativo para su caso de uso particular, que consistía principalmente en inferencia para aprendizaje por refuerzo.
Uno de los principales desafíos fue la limitación eléctrica de su apartamento, que no admitía el consumo energético de 6 GPUs de alta gama en un solo circuito. Esto requirió instalar dos fuentes de alimentación conectadas a circuitos separados, lo cual representa un riesgo de seguridad si no se instala profesionalmente. Irónicamente, terminó mudando el servidor al sótano de sus padres donde pudo mejorar la instalación eléctrica.
Para determinar si valió la pena la inversión, implementó un sistema de monitoreo que registraba el uso de cada GPU cada minuto, junto con el consumo eléctrico. Luego comparó el costo acumulado de propiedad (hardware + electricidad) contra lo que habría costado alquilar potencia computacional equivalente en la nube. Después de casi dos años de uso intensivo, llegó a la conclusión de que había ahorrado aproximadamente 17.000 dólares, y actualmente ahorra entre 90 y 105 dólares diarios en comparación con el alquiler en la nube; con el tiempo, el servidor se amortizó.
Los casos de uso principales son para investigadores y desarrolladores que realizan entrenamiento de modelos grandes o inferencia intensiva, especialmente en áreas como aprendizaje por refuerzo o ajuste fino de modelos de lenguaje. Esta configuración resulta particularmente valiosa para quienes necesitan ejecutar experimentos continuamente y tienen demanda constante de computación.
Sin embargo, hay consideraciones importantes: el análisis no incluye el valor del tiempo dedicado a construir y mantener el sistema, la frustración de las fallas de mantenimiento, ni el riesgo de obsolescencia rápida dado el ritmo acelerado de avances en hardware GPU. Además, el impacto ambiental y la complejidad de administración deben sopesarse.