Група з безпеки ШІ виявила недоліки у внутрішній системі моніторингу OpenAI

Дослідницька група з безпеки ШІ METR заявила, що пілотне випробування, проведене з метою стрес-тестування внутрішньої системи моніторингу OpenAI, виявило кілька нових вразливостей, зокрема “експлойт”, який агенти ШІ могли б використати, щоб уникнути моніторингу сотень своїх останніх дій.

Про це повідомляє Reuters.

З того часу OpenAI заявила, що всі вразливості, які впливали на її виробничі заходи безпеки, були усунені, хоча METR зазначила, що не перевіряла ці твердження.

Дослідники виявили спосіб, за допомогою якого агенти кодування Codex від OpenAI могли обійти обмеження безпеки та виконувати будь-які дії, доступні користувачеві, який їх запускає, а також два параметри, які могли вимкнути моніторинг для нових агентів.

За оцінками дослідників, лише приблизно від 75% до 94% внутрішнього трафіку агентів штучного інтелекту OpenAI, що походять від моделей, потужність яких принаймні дорівнює GPT-5.5, підлягало моніторингу.

За словами METR, мета дослідження полягала в тому, щоб оцінити, яка частка активності агентів штучного інтелекту OpenAI підлягала моніторингу та чи могли агенти, в принципі, вимкнути або обійти систему.

Дослідницька група додала, що це було розроблено як пілотний проєт для надання зовнішнім дослідникам широкого доступу до внутрішніх систем компанії.

Нагадаємо:

Компанія Anthropic може зіткнутися з судовими позовами від клієнтів та користувачів через дії неконтрольованих агентів штучного інтелекту.