LiteLLM refuerza su equipo con ingeniero de confiabilidad

LiteLLM, una plataforma de código abierto que actúa como puerta de enlace para modelos de lenguaje (LLM) y que ya cuenta con más de 36.000 estrellas en GitHub, está buscando a su primer Ingeniero de Confiabilidad. La empresa, que gestiona cientos de millones de llamadas a API de LLM diariamente para clientes como la NASA, Adobe, Netflix y Stripe, ha alcanzado los 7 millones de dólares en ingresos anuales recurrentes (ARR) y tiene un equipo de 10 personas. La necesidad surge debido a la criticidad de la plataforma: una caída de LiteLLM afecta directamente a los sistemas de IA de sus clientes.

El rol implica la responsabilidad total de la confiabilidad, rendimiento y estabilidad de la producción, con un enfoque del 60% en confiabilidad operativa y el 40% en ingeniería de rendimiento. Las tareas incluyen desde la detección de fugas de memoria hasta la optimización del rendimiento de la base de datos y la resolución de problemas de despliegue a gran escala. LiteLLM busca a alguien con experiencia en Python, Kubernetes y PostgreSQL, y que esté cómodo con la gestión de incidentes y la optimización de la latencia. La empresa destaca la oportunidad de tener un impacto significativo en la infraestructura de IA a gran escala y la visibilidad que ofrece su proyecto de código abierto.