hardware · 5 menciones
La creciente atención hacia los modelos Bonsai de PrismML, basados en cuantización a 1 bit y pesos ternarios, reaviva el debate sobre cómo ejecutar modelos de lenguaje de gran tamaño directamente en dispositivos móviles. Para alcanzar escalas de 27 000 millones de parámetros en un teléfono se necesi
Un SoC (sistema en chip) es un circuito integrado que concentra en un único sustrato de silicio los principales componentes de un dispositivo electrónico: CPU, GPU, coprocesadores, memoria, puertos de entrada/salida, módems inalámbricos y, más recientemente, unidades de procesamiento neuronal (NPU)
El CEO de Raspberry Pi, Eben Upton, junto con otros ingenieros, participó en una sesión de preguntas y respuestas (AMA) en el foro r/engineering de Reddit. La discusión se centró en las próximas actualizaciones de hardware y la situación actual de la empresa. El lanzamiento de la Raspberry Pi 6 se
DeepSeek-V4, un modelo de lenguaje de gran escala, ha recibido soporte inmediato (Día 0) para inferencia y entrenamiento de refuerzo gracias a SGLang y Miles, una plataforma de código abierto. Esta novedad es significativa porque permite aprovechar al máximo las capacidades del modelo desde su lanza
Microsoft ha lanzado BitNet, un framework de código abierto diseñado para ejecutar modelos de lenguaje de 1 bit (LLM) de manera eficiente en CPUs y GPUs. Esta tecnología permite ejecutar modelos de lenguaje grandes, como un modelo de 100 mil millones de parámetros, en una sola CPU, alcanzando veloci
