protocol_standard · 2 menciones
El desarrollador Jmaczan ha lanzado en GitHub 'tiny-vllm', un motor de inferencia de alto rendimiento para modelos de lenguaje grande (LLM) desarrollado en C++ y CUDA. Esta iniciativa se presenta como una versión más compacta y educativa de vLLM, diseñada para derivar desde cero las matemáticas y ar
La versión 5 de OpenCV, la biblioteca de referencia en visión por computador con más de 86.000 estrellas en GitHub y un millón de instalaciones diarias, se publicará el 8 de junio en PyPI. Se trata de la mayor revisión del proyecto en años, coordinada por la organización sin ánimo de lucro OpenCV.or
Modal ha lanzado Modal Auto Endpoints, un servicio de inferencia de modelos de lenguaje de gran tamaño (LLM) compatible con la API de OpenAI y desplegable con una única instrucción de línea de comandos. La propuesta se dirige a equipos que quieren poseer de verdad su infraestructura de inferencia —e
nanoeuler es un proyecto educativo e investigador que implementa un modelo de lenguaje tipo GPT-2 desde cero, sin recurrir a PyTorch, autograd ni librerías de aprendizaje automático. Todo el pipeline de entrenamiento —el forward, el backward, un tokenizador byte-level BPE escrito a mano, el preentre
Flash-MSA es el primer conjunto de kernels de código abierto que permite entrenar de forma eficiente modelos con MiniMax Sparse Attention (MSA), un mecanismo de atención dispersa inspirado en DeepSeek Sparse Attention que varios modelos frontera —DeepSeek V3.2, DeepSeek V4-Pro, GLM-5.2, LongCat-2.0
La autora, académica y antigua gestora universitaria, sostiene que la educación superior está perdiendo el tren de la inteligencia artificial. Cuatro años después de la irrupción de ChatGPT, las universidades siguen enfrascadas en debates sobre atletismo, diversidad ideológica o financiación federal
vLLM es uno de los motores de inferencia de modelos de lenguaje (LLM) de código abierto más extendidos y, sin embargo, su arquitectura interna sigue siendo poco conocida para la mayoría de los desarrolladores e investigadores. Este artículo ofrece un recorrido técnico en profundidad por el sistema v
InferQuest es una aplicación web gratuita, abierta y sin ánimo de lucro orientada a formar ingenieros de inferencia y de entrenamiento de modelos de lenguaje grandes. Su diseño parte de un análisis del mercado laboral y se estructura en torno a dos itinerarios —despliegue rápido y económico de LLMs
FlashAttention es una familia de algoritmos diseñada para optimizar la atención en modelos de lenguaje mediante la reducción del tráfico de datos en la jerarquía de memoria de la GPU, no mediante la aproximación matemática de la atención. A diferencia de los métodos aproximados que modifican la func
vLLM es una biblioteca de código abierto diseñada para la inferencia y el servicio de modelos de lenguaje de gran escala (LLM). Desarrollada originalmente en el Sky Computing Lab de la Universidad de California en Berkeley, esta herramienta se ha convertido en uno de los proyectos de IA más activos,
