Автономні ШІ-агенти під час виконання поставленого завдання можуть обирати шляхи, що передбачають обхід обмежень або потенційно небезпечні дії. Про це заявив Engineering Manager/Architect компанії ChargeAfter Владислав Михайлишин.
За його словами, не йдеться про власний намір системи зламати щось. Водночас агент здатен самостійно сформувати проміжний план, у якому використання вразливості стане одним із кроків для досягнення мети, визначеної користувачем.
Михайлишин пояснив, що люди часто не прописують у дорученнях очевидні для себе правила — не обходити авторизацію, не порушувати роботу сайту та не позбавляти інших доступу до сервісу. Для ШІ такі межі потрібно закладати під час навчання, визначати в інструкціях або забезпечувати технічними механізмами.
На відміну від звичайних програм, автономні агенти можуть визначати підцілі, обирати інструменти, перевіряти результати й коригувати подальші кроки. Експерт вважає, що це може ускладнити прогнозування їхньої поведінки в новому середовищі.
Він також допустив перехід від автоматизованих кібератак до автономних, коли система зможе досліджувати ціль, шукати вразливості та змінювати тактику.
Джерело: Вагомо
Схожі новини
Орбан і Сальвіні привітали AfD з перемогою у Саксонії-Ангальт
Глава МЗС Естонії назвав вибори до Держдуми РФ «перформансом Кремля»
Румунія оголосила тривогу біля кордону з Україною через повітряні цілі