Entrenar un LLM de 3.800 millones de parámetros por menos de 1.000 dólares: la receta de little-lm
Un ingeniero independiente, Hugo Vergnes, ha entrenado desde cero un modelo de lenguaje de 3.848 millones de parámetros (llamado little-lm) que alcanza 0,384 en la prueba CORE, supera a GPT-2 por un margen amplio y se acerca a GPT-2 en cobertura de comprensión. El entrenamiento se completó en 43 hor
