NVIDIA, en colaboración con el Instituto de Tecnología de Madras (IIT Madras) y su laboratorio AI4Bharat, ha presentado Nemotron-pretraining-Indic-v1, un conjunto de datos de preentrenamiento de aproximadamente 2,8 billones de tokens que abarca las 22 lenguas oficiales de la Constitución india. Este recurso, que representa a cerca de 1,200 millones de ciudadanos, busca cerrar la brecha de datos que limita el desarrollo de modelos de inteligencia artificial en lenguas indias, un sector que históricamente ha quedado rezagado tras el inglés.
El lanzamiento incluye no solo el corpus, sino también un pipeline de generación de datos abierto y acelerado por GPU. Esta herramienta permite a los desarrolladores reproducir el proceso de creación de datos, que combina traducción de documentos en inglés, evaluación de calidad mediante métricas multidimensionales y reparación dirigida. El objetivo es proporcionar material de entrenamiento sintético, pero anclado en fuentes reales, que incluya contenido técnico, matemático y de código, facilitando la construcción de modelos capaces de explicar conceptos complejos y resolver problemas en estas lenguas.
El corpus se distribuye en dos formatos: escritura nativa para 22 lenguas y texto romanizado para 12 de ellas, cubriendo 34 configuraciones de escritura. Además, se ha utilizado un subconjunto de este corpus para preentrenar el modelo Nemotron 3.5 Super VL, añadiendo 10.000 millones de tokens. Esta iniciativa, impulsada por Mitesh Khapra, líder de AI4Bharat, busca democratizar el acceso a datos de entrenamiento de gran escala y fomentar la contribución comunitaria a modelos más robustos para la región.
