hardware · 5 menciones
El costo de la memoria (HBM) se ha convertido en el componente más significativo en la fabricación de chips de inteligencia artificial, representando ahora el 63% del gasto total, según un análisis reciente de Epoch. Este porcentaje ha aumentado considerablemente desde el 52% en el primer trimestre
El algoritmo K-Means es una técnica fundamental en aprendizaje automático para agrupar datos similares. Tradicionalmente, se ha utilizado para tareas como organizar conjuntos de datos o preprocesar incrustaciones (embeddings), pero su aplicación en tiempo real, en sistemas online, ha sido limitada p
Este artículo explora los desafíos encontrados al intentar portar el algoritmo Flash Attention, optimizado para GPUs con el lenguaje Triton, a un TPU (Tensor Processing Unit). El objetivo era aprovechar la potencia gratuita de los TPUs ofrecidos en Colab. La experiencia reveló que la transición no f
Una startup llamada Taalas ha lanzado un chip ASIC que ejecuta el modelo de lenguaje Llama 3.1 8B a una velocidad de inferencia de 17.000 tokens por segundo, lo que equivale a escribir aproximadamente 30 páginas A4 por segundo. La empresa afirma que su chip es 10 veces más barato en costos operativo
El artículo de taalas.com aborda un desafío crucial para la adopción generalizada de la Inteligencia Artificial (IA): la combinación de alta latencia y costos prohibitivos. Actualmente, los modelos de IA, especialmente los grandes modelos de lenguaje (LLM), requieren una infraestructura masiva y cos
