Trillium Labs busca transparencia en la investigación de IA

Nathan Lambert y Tom Zick han fundado Trillium Labs, una organización no lucrativa dedicada a la investigación de inteligencia artificial con un enfoque de máxima transparencia. A diferencia de los laboratorios de IA de frontera, que mantienen sus procesos secretos, esta entidad publicará los detalles de sus experimentos para permitir que la comunidad científica externa los estudie y replique. Lambert argumenta que la opacidad actual impide a la comunidad escrutar las ideas y contribuir con nuevas soluciones, lo que podría aumentar los riesgos asociados a la IA.

El nuevo laboratorio se centrará inicialmente en el ajuste posterior (post-training) de modelos grandes y en la mejora recursiva de la auto-mejora (RSI), un proceso donde la IA contribuye a su propia investigación. Esta última área ha generado alarma en la comunidad, ya que podría llevar a una pérdida de control humano si el progreso se acelera indefinidamente. Además, estudiarán cómo el aprendizaje por refuerzo afecta el comportamiento de los agentes, incluyendo riesgos de simpatía excesiva.

Trillium Labs ha recaudado fondos de Schmidt Sciences y Halcyon Futures, con un objetivo total de 40 a 100 millones de dólares, de los cuales 30 millones se destinarán a entrenamiento en los próximos 18 meses. Los fundadores, exinvestigadores de UC Berkeley, Hugging Face y Harvard, buscan aportar matices a la discusión sobre cómo construir IA, abogando por un método científico aplicado a la tecnología para mitigar daños y mejorar el futuro.