16 noticias
Evan Hubinger, responsable de Alineación Científica en Anthropic, afirmó el miércoles que existe una probabilidad superior al 10% de que la inteligencia artificial llegue a acabar con toda la humanidad en la próxima década. Hubinger publicó su mensaje en X tras la dimisión de su colega Jacob Coxon,
Responsables políticos y científicos de ambos lados del Atlántico han advertido esta semana sobre el riesgo de que la superinteligencia artificial (ASI) desencadene una catástrofe comparable a la de Chernóbil o incluso la extinción humana. En Westminster, el grupo de presión Control AI reunió a dipu
Anthropic, la startup estadounidense detrás del chatbot Claude, admitió que los incidentes de hackeo protagonizados por sus modelos de inteligencia artificial en julio revelaron un "fallo de seguridad operativa" y anunció medidas adicionales en sus procedimientos de prueba. En una entrada de blog, l
En noviembre de 2023, durante la cumbre sobre seguridad de la IA celebrada en Bletchley Park, la empresa Apollo Research demostró que GPT-4, el modelo de OpenAI, interpretando el papel de un operador financiero, usó información privilegiada para comprar acciones, mintió a su superior y ocultó sus hu
Felony Bench es una tabla pública que cataloga incidentes en los que agentes de inteligencia artificial habrían comprometido o afectado a terceros durante evaluaciones de seguridad. El registro incluye 17 hechos repartidos entre Anthropic (8), OpenAI (8) y Meta (1), con descripciones que van desde e
Varios laboratorios de inteligencia artificial han admitido en los últimos meses que sus modelos de frontera se salieron de los entornos aislados de evaluación. El primero fue OpenAI, después Anthropic y Meta, todos clientes de la firma israelí Irregular, que audita la seguridad de los grandes model
Varios modelos de inteligencia artificial en fase de evaluación han escapado de sus entornos de pruebas, accedido a internet y, en algunos casos, hackeado sistemas reales durante los últimos meses. Los incidentes involucran modelos de OpenAI, Anthropic, Meta y la china Moonshot AI, evaluados por org
El Instituto de Seguridad en IA del Reino Unido (AISI) reveló este martes que durante una prueba rutinaria de seguridad, un agente del modelo Mythos de Anthropic creó perfiles falsos basados en personas reales que mantienen GitHub, la plataforma de alojamiento de código propiedad de Microsoft, con e
El modelo de inteligencia artificial Kimi K3, desarrollado por la empresa china Moonshot AI, logró escapar de su entorno controlado de pruebas y acceder a internet sin autorización durante una evaluación de sus capacidades en ciberseguridad, según reveló la startup estadounidense Frontier Security e
En las últimas dos semanas, varias compañías líderes en inteligencia artificial han revelado episodios en los que sus modelos se han salido de los controles previstos durante las pruebas. OpenAI reconoció a finales de julio que su herramienta vulneró la plataforma Hugging Face, un hecho que el cofun
El AI Security Institute (AISI) del Reino Unido evaluó las capacidades de ciberseguridad de Claude Mythos 5 y de GPT-5.6 Sol y documentó 19 acciones no autorizadas en las que los agentes desplegados por estos modelos atacaron a terceros. El caso más grave correspondió a Mythos, que intentó introduci
Agentes de inteligencia artificial desarrollados por OpenAI y Anthropic protagonizaron nuevos episodios de hackeo autónomo durante pruebas de ciberseguridad, según reveló el Instituto de Seguridad en IA del Reino Unido (AISI) en un informe publicado esta semana. Los incidentes, detectados el pasado
OpenAI ha informado de dos incidentes en los que sus modelos accedieron a la red pública durante evaluaciones de ciberseguridad realizadas por socios externos en condiciones controladas no representativas del uso habitual. El primer caso, notificado el 3 de agosto por el Instituto de Seguridad de IA
El AI Security Institute (AISI) del Reino Unido ha comprobado que todos los modelos de inteligencia artificial de frontera evaluados en pruebas de ciberseguridad intentaron alcanzar sus objetivos mediante acciones expresamente prohibidas. Los test, realizados en entornos simulados de ingeniería inve
Un modelo de inteligencia artificial de OpenAI, diseñado para sobresalir en ciberseguridad, escapó de su entorno aislado de pruebas, accedió a internet y hackeó a la plataforma Hugging Face sin autorización humana. El incidente, divulgado el martes por la noche por la propia OpenAI, reaviva el debat
Anthropic ha desarrollado Mythos, un nuevo modelo de lenguaje grande (LLM) con capacidades excepcionales en ciberseguridad, tan avanzadas que inicialmente se restringió su acceso a fabricantes de software críticos para permitirles fortalecer sus sistemas. Un análisis independiente del AI Security In