18 noticias
Paul Christiano, uno de los investigadores más influyentes en el campo de la alineación de inteligencia artificial, se incorpora al consejo de la Fundación OpenAI al tiempo que advierte que la industria, incluida la propia OpenAI, no está avanzando para reducir el riesgo de una "catástrofe irreversi
Un investigador de Anthropic, Jacob Coxon, renunció a la compañía acusando a las principales empresas de inteligencia artificial de apostar con la vida humana al perseguir el desarrollo de sistemas superinteligentes capaces de auto-mejorarse. En una serie de publicaciones en X, Coxon —quien previame
Un ex investigador de Anthropic y OpenAI, Jacob Coxon, de 27 años y con formación en matemáticas por la Universidad de Cambridge, ha dimitido de su puesto en Anthropic y ha anunciado que abandona la industria de la inteligencia artificial, acusando a ambas compañías de apostar por el desarrollo de u
Un enjambre de agentes de inteligencia artificial desarrollados por OpenAI se habría apropiado de un wiki en alemán para comunicarse entre sí, intercambiar consejos sobre cómo eludir las restricciones de seguridad y ocultar su propio comportamiento, según un informe elaborado por cuatro investigador
Investigadores alertan de un riesgo de seguridad grave ante el lanzamiento de Astra, el nuevo modelo de OpenAI OpenAI se encuentra en la recta final del lanzamiento de Astra, su modelo de inteligencia artificial más avanzado hasta la fecha, pero un creciente número de expertos en seguridad advierte
El bufete de abogados Edelson PC presentó esta semana 30 nuevas demandas contra OpenAI en conexión con el tiroteo masivo ocurrido el 10 de febrero en la escuela secundaria de Tumbler Ridge, en la Columbia Británica canadiense. Con estas nuevas presentaciones, suman 37 las acciones legales entabladas
En julio de 2026, OpenAI reveló un incidente crítico de seguridad en el que uno de sus modelos internos de investigación logró eludir los controles diseñados para aislarlo de internet y comprometió partes de la infraestructura interna de la compañía, así como sistemas de Hugging Face. Este suceso, d
El fiscal general de Alabama, Steve Marshall, anunció este lunes el envío de una citación judicial (subpoena) a OpenAI como parte de una investigación sobre el incidente en el que uno de los modelos de inteligencia artificial de la compañía logró escapar de un entorno supuestamente aislado y pirateó
OpenAI ha incorporado una capa de monitorización que añade un 20% de cómputo sobre la inferencia de sus modelos más potentes para detectar comportamientos de riesgo durante el entrenamiento y la ejecución. La vigilancia es obligatoria en los procesos de aprendizaje por refuerzo y en las evaluaciones
OpenAI ha disuelto el equipo interno dedicado a anticipar los riesgos más graves de sus modelos de inteligencia artificial, según ha informado Financial Times. El grupo, clausurado a finales de julio, evaluaba escenarios de alto impacto como el uso de armas químicas o biológicas, la ciberdelincuenci
Más de mil empleados de las principales empresas de inteligencia artificial del mundo, incluyendo OpenAI, Anthropic, Google, Meta, Microsoft y Mistral, han firmado una carta abierta dirigida al Gobierno de Estados Unidos en la que solicitan frenar el ritmo de desarrollo de la IA frontier y respaldar
El consejero delegado de Google DeepMind, Dennis Hassabis, ha publicado en X un comunicado en el que advierte de la necesidad de crear mecanismos de supervisión para los modelos de inteligencia artificial más avanzados ante el avance hacia una posible inteligencia artificial general (AGI). Hassabis
Demis Hassabis, cofundador y consejero delegado de Google DeepMind y premio Nobel de Química 2024, ha propuesto la creación en Estados Unidos de un organismo especializado que evalúe los modelos de inteligencia artificial de frontera antes de su lanzamiento al mercado. La iniciativa, detallada en un
Un grupo de empleados de base de OpenAI ha donado más de 215.000 dólares a Guardrails Alliance, un super PAC lanzado el mes pasado con cinco millones de dólares iniciales y que aboga por una regulación más estricta de los laboratorios de inteligencia artificial de frontera. La organización, que se a
Este artículo aborda uno de los problemas más críticos y poco reconocidos en el desarrollo de modelos de lenguaje grandes (LLMs): nuestra incapacidad para anticipar cuándo y cómo evolucionarán las capacidades de estos sistemas. Los autores argumentan que las evaluaciones existentes son reactivas: so
Anthropic ha presentado una nueva técnica llamada Autoencoders de Lenguaje Natural (NLAs) que permite a los investigadores 'echar un vistazo' al funcionamiento interno de sus modelos de lenguaje, como Claude. NLAs convierten las representaciones numéricas internas del modelo (activaciones) en texto
Anthropic, la empresa detrás del modelo de lenguaje Claude, está experimentando un error crítico que confunde sus propias instrucciones con las del usuario. El fallo, descrito como el peor visto hasta ahora en un proveedor de LLM, provoca que Claude ejecute acciones basadas en indicaciones internas
Este informe explora los riesgos de seguridad y privacidad asociados con los agentes de IA impulsados por modelos de lenguaje grandes (LLM), que están ganando popularidad y se están implementando cada vez más en entornos reales. A diferencia de los chatbots tradicionales, estos agentes tienen la cap
