Noticias que mencionan TensorRT-LLM

Notebooks de Colab sin frameworks para formarse como ingeniero de IA aplicado

El repositorio "ai-engineer-notebooks", del usuario de GitHub calmrocks, reúne una colección de cuadernos de Google Colab ejecutables y gratuitos pensados para ingenieros de backend o full-stack que quieran especializarse como AI Engineer o Forward Deployed Engineer (FDE). El material cubre, de extr

Cómo Netflix sirve sus propios LLM en producción: decisiones y lecciones

Netflix ha optado por ejecutar internamente la pila completa de servicio de modelos de lenguaje grandes (LLM), desde el despliegue hasta la inferencia, dentro de su entorno de producción habitual en lugar de un silo de aprendizaje automático separado. El artículo, firmado por los equipos Model Runti

El software abierto con IA vive su momento Kubernetes: no lo estropeemos

Los modelos de pesos abiertos se están convirtiendo en la base del próximo ecosistema de inteligencia artificial, y Estados Unidos debería competir dentro de él en lugar de aislarse. Tobi Knaup, cofundador de Mesosphere, traza un paralelismo con Kubernetes: cuando una plataforma abierta y portátil s

LLMs de código abierto: incompatibilidad dificulta su uso

El uso de modelos de lenguaje grandes (LLM) de código abierto se enfrenta a un desafío significativo: la incompatibilidad en los formatos de llamada de herramientas. Mientras que los modelos cerrados como los de OpenAI ofrecen una integración fluida, los modelos de código abierto requieren que los d