hardware · 6 menciones
Dos RTX 3090, un puente NVLink caro y una pregunta: ¿merece realmente la pena para cargas de trabajo de IA? Esta entrada es un benchmark a fondo que intenta responderla. El autor ejecuta cuatro tipos de pruebas: inferencia con partición por capas y paralelismo de tensores (llama-bench con Llama 3.3
El desarrollador Andyyyy64 ha publicado en GitHub la herramienta 'whichllm', diseñada para ayudar a los usuarios a encontrar el modelo de lenguaje grande (LLM) más adecuado para su hardware específico. La aplicación detecta automáticamente las características del sistema (GPU, CPU, RAM) y ordena los
Un emprendedor, Steve Hanov, ha revelado una estrategia para operar múltiples empresas con un costo técnico mínimo, alrededor de $20 al mes. El enfoque se centra en la eficiencia y el bootstrapping, evitando la búsqueda de financiación externa y la infraestructura costosa típica de las empresas tecn
Este artículo describe el viaje de un usuario (Crzynik) para crear un asistente de voz local y fiable en su hogar, utilizando Home Assistant. La motivación principal fue la creciente insatisfacción con Google Assistant (debido a su rendimiento decreciente y preocupaciones de privacidad) y el deseo d
Un equipo de desarrolladores ha creado un nuevo motor de inferencia de alto rendimiento para modelos de lenguaje grandes (LLM) que permite ejecutar el modelo Llama 70B en una sola tarjeta gráfica RTX 3090. El motor, basado en C++/CUDA, utiliza una técnica de streaming de capas del modelo a través de
Un nuevo conjunto de herramientas llamado Heretic está automatizando la eliminación de restricciones de seguridad (censura) de modelos de lenguaje basados en transformadores, sin necesidad de costosos procesos de reentrenamiento. Desarrollado por P-E-W y disponible en GitHub, Heretic combina técnica
