Mesh LLM es una plataforma de código abierto que permite ejecutar modelos de lenguaje grandes repartiendo el trabajo entre varios equipos o máquinas, en lugar de depender de un proveedor centralizado. Está desarrollada por el equipo n0 sobre iroh, su biblioteca de conectividad P2P, y se presenta como un punto final compatible con la API de OpenAI en localhost:9337/v1, de modo que cualquier cliente preparado para OpenAI pueda usarla sin cambios.
El sistema está pensado para equipos que ya disponen de GPUs infrautilizadas —en oficinas, armarios o bajo escritorios— y quieren aprovechar esa capacidad para correr modelos con más control, menor coste y sin ceder sus datos a un proveedor externo. Cada nodo arranca un endpoint de iroh, basado en una clave pública, que actúa como identidad y como única superficie de red. iroh se encarga de la negociación ALPN sobre QUIC, la perforación de NAT y la conexión directa autenticada entre pares, lo que elimina la necesidad de servidores centrales o VPNs. Para los nodos que no logran alcanzarse directamente, Mesh LLM opera dos relays iroh en regiones distintas como ruta de respaldo.
A nivel interno, Mesh LLM puede ejecutar un modelo en una sola máquina, enrutarlo a otro par que ya lo tenga cargado, o dividirlo en segmentos por capas (modo "Skippy") y procesarlo como un pipeline entre varios nodos, de modo que varias máquinas modestas corran un modelo que ninguna podría alojar por sí sola —incluidos MoE de hasta 235B parámetros. Sobre la conexión principal mesh-llm/1, una multiplexación por primer byte del stream lleva gossip de pares, peticiones HTTP en túnel, consultas de rutas y eventos de ciclo de vida, todo dentro del mismo canal QUIC. La arquitectura es además pluggable mediante manifiestos que declaran las capacidades de cada plugin (inferencia, MCP, HTTP, eventos de malla), y se distribuye con un catálogo de más de 40 modelos listos, desde medio billón de parámetros hasta los gigantes mixture-of-experts. Una versión para móvil, basada en el SDK Swift de iroh, está en camino y se prevé compatibilidad con el protocolo emergente ACP para que otros clientes puedan sumarse al mesh. El binario ronda los 18 MB.