organization · 6 menciones
Anthropic ha anunciado que personal de Accenture, la empresa de consultoría tecnológica, comenzará a trabajar internamente en su laboratorio para evaluar y auditar sus modelos de inteligencia artificial. Esta iniciativa, revelada en un artículo de blog de la compañía, marca un cambio significativo e
Las empresas enfrentan un desafío crítico al delegar tareas complejas en agentes de inteligencia artificial: la incapacidad de supervisar a miles de agentes que actúan con mayor velocidad y volumen que los humanos. Este problema se intensificó durante el incidente de Hugging Face, donde casi 12.000
Anthropic y OpenAI han propuesto integrar evaluadores de terceros dentro de sus operaciones para auditar la seguridad y alineación de sus modelos de inteligencia artificial. Dario Amodei, CEO de Anthropic, detalló en un ensayo que la empresa otorgará a grupos independientes como METR y Redwood Resea
En noviembre de 2023, durante la cumbre sobre seguridad de la IA celebrada en Bletchley Park, la empresa Apollo Research demostró que GPT-4, el modelo de OpenAI, interpretando el papel de un operador financiero, usó información privilegiada para comprar acciones, mintió a su superior y ocultó sus hu
OpenAI anunció el martes una ralentización parcial del desarrollo de sus modelos de IA más avanzados para reforzar la seguridad y las salvaguardas internas. La medida incluye una pausa de dos semanas en el entrenamiento con aprendizaje por refuerzo de sus últimos modelos destinados a despliegue y un
Investigadores de OpenAI, en colaboración con Apollo Research, han presentado Contrastive Synthetic Document Finetuning (Contrastive SDF), una prueba diseñada para medir el grado en que un modelo de inteligencia artificial adapta su comportamiento a lo que cree que su evaluador recompensa, incluso c