litelm es una librería de software diseñada para simplificar la gestión de llamadas a modelos de lenguaje de gran escala (LLM) al extraer únicamente las funciones esenciales de enrutamiento y traducción de mensajes del proyecto litellm. A diferencia de su predecesor, que supera las 100.000 líneas de código e incluye funciones como servidores proxy, capas de caché y seguimiento de costos, litelm se centra en un núcleo de aproximadamente 2.900 líneas de código con solo dos dependencias principales: openai y httpx. Esta arquitectura minimalista elimina componentes innecesarios para la mayoría de los usuarios, como la clase Router, servidores proxy y sistemas de presupuestación, manteniendo únicamente la ruta de llamada directa, el enrutamiento de modelos, la traducción de formatos de mensajes, la transmisión en streaming, el uso de herramientas y las incrustaciones (embeddings).
La librería soporta 19 proveedores de LLM, incluyendo OpenAI, Anthropic, Groq, Mistral y Bedrock, mediante una sintaxis unificada de "proveedor/nombre-del-modelo". Su API es compatible con litellm, lo que permite a los desarrolladores migrar cambiando simplemente el nombre de la importación en su código. Además, ofrece variantes asíncronas para todas sus funciones principales y mapea los errores de los proveedores a una jerarquía de excepciones específica para facilitar la gestión de fallos como límites de tasa o problemas de autenticación. El proyecto está en fase alfa, con 262 pruebas propias superadas y verificación de compatibilidad con DSPy, aunque no garantiza la compatibilidad total con todas las funciones de litellm. La mayoría del código fue desarrollado con asistencia de IA, utilizando herramientas como Claude Code y GPT-5.5, con una auditoría de compatibilidad realizada en septiembre de 2026.