software · 10 menciones
En la conferencia Hot Chips 2026, Samsung presentó su nueva tecnología LPDDR5X-PIM (Processing-in-Memory), un avance significativo que integra unidades de cómputo directamente dentro de los paquetes de memoria estándar. El objetivo principal es habilitar la inferencia local de modelos de lenguaje gr
Tokenstead es una plataforma que reúne información sobre modelos de inteligencia artificial de pesos abiertos, agentes y el hardware necesario para ejecutarlos localmente, sin depender de proveedores cloud. La página funciona como un rastreador con citas a fuentes, estimaciones de velocidad, compara
Ferrox, un motor de inferencia escrito íntegramente en Rust, ejecuta modelos de lenguaje abiertos en local —tanto densos como Mixture-of-Experts— sobre CPU, Apple Metal o CUDA, sin recurrir a enlaces con llama.cpp ni con ggml. Cada kernel, cargador y mecanismo de planificación se ha implementado des
AMD presentó el 16 de junio de 2026 sus resultados en la ronda MLPerf Training 6.0, la participación más completa de la compañía hasta la fecha, con pruebas para las GPU Instinct MI325X, MI350X y MI355X. Por primera vez, AMD envió resultados de entrenamiento distribuido en varios servidores, incluid
El autor detalla un experimento personal de ajuste fino (fine-tuning) de un modelo de lenguaje para que genere documentación técnica al estilo de los años 80 y 90. La motivación es explorar la predicción de que los redactores técnicos del futuro trabajarán con modelos locales especializados, en luga
Este artículo de investigación revela una vulnerabilidad crítica en los sistemas de seguridad diseñados para proteger agentes LLM (Large Language Models). Los autores demuestran que los actuales detectores de inyección de prompts, usados para defender estos sistemas, fallan estrepitosamente cuando l
Un panorama de modelos de inteligencia artificial está experimentando cambios significativos, según un reciente análisis de canirun.ai. Empresas como Meta, Alibaba, Microsoft, OpenAI, Google, Mistral AI, DeepSeek y NVIDIA están lanzando nuevas versiones y arquitecturas de modelos, abarcando una ampl
Una startup llamada Taalas ha lanzado un chip ASIC que ejecuta el modelo de lenguaje Llama 3.1 8B a una velocidad de inferencia de 17.000 tokens por segundo, lo que equivale a escribir aproximadamente 30 páginas A4 por segundo. La empresa afirma que su chip es 10 veces más barato en costos operativo
El artículo de taalas.com aborda un desafío crucial para la adopción generalizada de la Inteligencia Artificial (IA): la combinación de alta latencia y costos prohibitivos. Actualmente, los modelos de IA, especialmente los grandes modelos de lenguaje (LLM), requieren una infraestructura masiva y cos
