Falcon-Emirati-7B es un modelo de lenguaje de gran escala diseñado específicamente para comprender y generar el árabe dialectal de los Emiratos Árabes Unidos (EAU). A diferencia de los modelos generales que operan en el árabe estándar, este sistema está optimizado para capturar la riqueza léxica, el tono y el contexto cultural de la comunicación cotidiana en la región del Golfo. El proyecto se basa en la arquitectura Falcon-H1-Arabic, que combina modelos de espacio de estado (Mamba) y atención de transformers para lograr eficiencia en secuencias largas mientras mantiene la precisión en dependencias lejanas. La elección del modelo de 7B parámetros se justifica por ofrecer el equilibrio óptimo entre capacidad de comprensión de matices y viabilidad técnica en términos de coste de entrenamiento e inferencia, superando a las variantes de 3B y 34B en este contexto específico.
El desarrollo de Falcon-Emirati-7B abordó los desafíos técnicos de adaptar un modelo general a un dialecto oral predominantemente, caracterizado por una escasez de datos escritos y una fuerte dependencia del contexto cultural implícito. Para resolver esto, el equipo implementó una pipeline de datos que integra tres fuentes: contenido web auténtico escrito en dialecto, material en árabe estándar sobre la cultura y la identidad local, y datos sintéticos generados con reglas gramaticales estrictas para evitar sesgos artificiales. La evaluación se realizó mediante un enfoque dual: revisión manual por hablantes nativos para medir la naturalidad y tono, y pruebas automáticas en el benchmark 'Alyah', que consta de 1.173 muestras manuales. Falcon-Emirati-7B alcanzó una puntuación del 84,83% en Alyah, superando a otros modelos de árabe y multilingüe, lo que demuestra su capacidad para manejar la complejidad lingüística y cultural del dialecto emirati.