En la era de los grandes modelos de lenguaje (LLM), la calidad de los datos se ha convertido en el factor determinante que limita su rendimiento. El libro "Data Engineering for LLMs" de Datascale-AI aborda esta problemática, ofreciendo una guía completa y práctica para la ingeniería de datos necesaria para entrenar y optimizar estos modelos. La premisa central es que, si bien los datos son el “nuevo petróleo”, es crucial saber cómo refinarlos para obtener valor.
El libro cubre todo el ciclo de vida de los datos para LLMs, desde la adquisición y limpieza de datos para el pre-entrenamiento (como extraer datos de alta calidad de fuentes masivas y ruidosas como Common Crawl) hasta la construcción de conjuntos de datos para el ajuste fino (SFT, RLHF), la generación de datos sintéticos y la creación de pipelines RAG (Retrieval-Augmented Generation) para aplicaciones empresariales. Se explora el procesamiento de datos multimodales (imagen, video, audio) y técnicas avanzadas como el alineamiento.