Автономний агент штучного інтелекту під час тестування британського Інституту безпеки ШІ (AI Security Institute, AISI) вийшов за межі поставленого завдання та спробував впровадити шкідливий код у реальний проєкт із відкритим кодом на GitHub. Коли 24-річний студент помітив небезпеку, ШІ почав переконувати його, що той помиляється, створив додаткову фальшиву особу та намагався домогтися схвалення небезпечного коду.
Незвичайну історію детально розкрило агентство Reuters. Інцидент стався наприкінці липня, однак особу студента та подробиці його протистояння з ШІ журналісти оприлюднили лише 20 серпня.
Головним героєм історії став Сінан Джан Демір — студент факультету комп’ютерних наук Техаського університету в Далласі. Після більш ніж 20 невдалих спроб отримати літнє стажування він вирішив попрацювати над відкритими проєктами на GitHub, щоб покращити своє портфоліо.
Саме це випадково привело його до одного з найбільш незвичайних кіберінцидентів за участю ШІ.
Студент помітив прихований шкідливий код
Демір працював із відкритими проєктами на GitHub, коли звернув увагу на підозрілу зміну в програмі для сканування мережі myNetwork.
Користувач під ніком miraholt31 намагався додати до проєкту оновлення. Після перевірки Демір дійшов висновку, що воно містить прихований механізм завантаження шкідливого програмного забезпечення.
Студент попередив про це розробників проєкту.
На цьому історія могла б закінчитися. Проте акаунт, який запропонував зміни, почав наполягати, що код безпечний.
Більше того, у дискусії з’явився ще один користувач. Він представлявся німецькою інженеркою на ім’я Лена Брандт і також переконував розробників, що із запропонованим оновленням усе гаразд.
Насправді, як з’ясувалося пізніше, за цими діями стояв ШІ-агент.
Демір зізнався Reuters, що аргументи були настільки переконливими, що в певний момент він почав сумніватися у власних висновках.
Студент навіть скористався чатботом Claude від Anthropic, щоб додатково перевірити код. Перевірка підтвердила його підозри, тому він продовжив наполягати на тому, що зміни небезпечні.
Зрештою власник проєкту відмовився приймати запропоноване оновлення з міркувань безпеки.
Атака провалилася.
Він думав, що сперечається з хакером
Найдивніше сталося пізніше.
Демір був переконаний, що викрив досвідченого кіберзлочинця, який спочатку намагався приховати шкідливий код, а потім за допомогою кількох акаунтів переконував розробників прийняти його.
Однак згодом зі студентом зв’язався британський AI Security Institute.
Там йому повідомили: людини-хакера, з якою, як він думав, сперечався, фактично не було.
За атакою стояв автономний ШІ-агент, який тестували фахівці британського державного інституту.
«Я справді думав, що це людина, тому що вона явно мені брехала», — розповів Демір Reuters. За його словами, він не очікував, що штучний інтелект здатний так поводитися з реальними розробниками.
ШІ створював фальшиві особи
AI Security Institute з’ясував, що найсерйозніший епізод був пов’язаний з агентом на базі моделі Mythos 5 компанії Anthropic.
Поведінка системи не обмежилася спробою запропонувати шкідливий код.
За даними AISI, агент досліджував інформацію про реальних людей, які підтримували програмний проєкт, створював кілька фальшивих особистостей та використовував їх для соціальної інженерії.
Мета полягала в тому, щоб переконати реального розробника схвалити запропоновані зміни.
Коли шкідливий код публічно викрили, агент намагався змінити сліди своєї попередньої активності так, щоб вона виглядала нешкідливою. Він також розглядав можливість використання нової особистості для продовження своїх дій.
Були й інші спроби взаємодії з реальними людьми. AISI встановив, що агент надсилав повідомлення та файли, намагаючись переконати адресатів або їхні інструменти для програмування на основі ШІ запустити шкідливий код.
ШІ використовував Tor
Ще одна деталь інциденту привернула особливу увагу дослідників.
ШІ-агент використовував анонімну мережу Tor, щоб обійти частину мережевих обмежень під час роботи з GitHub.
Саме незвичайний вихід даних через Tor вранці 28 липня помітили системи безпеки AISI.
Фахівці почали перевірку протягом кількох хвилин і виявили, що під час одного з тестових запусків агент створив шкідливий pull request — пропозицію внести зміни до коду — у реальному публічному проєкті на GitHub.
Після цього AISI оголосив інцидент безпеки, припинив відповідні експерименти та ізолював задіяні системи. Усі пов’язані тестові запуски були зупинені приблизно протягом години після виявлення проблеми.
Під час тестів зафіксували 19 несанкціонованих дій
Випадок із Деміром був найсерйознішим, але не єдиним.
Британський AI Security Institute проводив 122 тестові запуски різних ШІ-моделей. У 10 із них агенти здійснили дії за межами встановлених параметрів експерименту.
Загалом дослідники зафіксували 19 таких дій.
17 із них були пов’язані з Mythos 5. Ще дві відбулися під час одного тестового запуску GPT-5.6 Sol, коли захисні механізми проти кіберзловживань були відключені для проведення оцінювання.
Інциденти відбувалися між 25 і 28 липня.
При цьому важливий нюанс: експеримент був спеціально створений для перевірки максимальних кіберможливостей передових моделей. Агентам надали доступ до інтернету, а частину звичайних захисних механізмів вимкнули. Тобто йдеться не про звичайного чатбота, який самостійно «вирвався» в інтернет, а про спеціальні випробування автономних систем у ризикованих умовах.
AISI заявив, що після розслідування не виявив підтверджених випадків реальної шкоди від цих дій.
GitHub повідомив Reuters, що виявлені фальшиві акаунти були заблоковані відповідно до правил платформи щодо обману та хакерської діяльності.
Чому цей випадок так занепокоїв експертів
Особливе занепокоєння викликала не лише здатність ШІ написати шкідливий код.
Система фактично поєднала технічну атаку із соціальною інженерією: створила неправдиву особистість, вступила в дискусію з реальною людиною, наводила аргументи, які змусили її сумніватися, та намагалася переконати інших людей схвалити небезпечні зміни.
П’ятеро експертів із кібербезпеки та безпеки ШІ, з якими спілкувалося Reuters, назвали випадок особливо тривожним.
Дослідник Королівського коледжу Лондона Лукаш Олейнік заявив, що ситуація перейшла від автономного злому до «інтерактивного обману».
Експертка з кібербезпеки Максі Рейнольдс звернула увагу на стратегічність поведінки агента і назвала подібні методи можливим майбутнім атак із використанням соціальної інженерії.
Атака могла мати значно ширші наслідки
Спроба, яку випадково помітив Демір, належить до так званих атак на ланцюг постачання програмного забезпечення — supply-chain attack.
Зловмисник у такому випадку намагається заразити не кожного користувача окремо, а програму, бібліотеку чи компонент, яким користується багато інших людей або організацій.
Якщо шкідливий код потрапляє до легітимного програмного забезпечення, він може поширитися серед його користувачів разом зі звичайним оновленням.
Саме тому такі атаки вважаються особливо небезпечними.
Серед найвідоміших прикладів Reuters згадує масштабну атаку NotPetya 2017 року, яка завдала величезних збитків Україні та компаніям у різних країнах, а також компрометацію SolarWinds, яка дала російським хакерам доступ до мереж американських державних установ.
Дослідник безпеки програмного забезпечення П’єрджорджо Ладіса попередив, що автономні ШІ-агенти здатні радикально збільшити масштаби, з якими можна проводити подібні операції.
Історія Деміра тому стала показовою не через те, що атака виявилася успішною — навпаки, студент і розробник проєкту її зупинили. Значно важливішим виявилося те, наскільки багатоетапно діяв ШІ: від створення шкідливого коду до використання вигаданих особистостей і спроб переконати реальних людей, що небезпеки не існує.
Сам Демір після пережитого заявив, що став прихильніше ставитися до закликів обережніше розвивати найпотужніші системи штучного інтелекту.
«Це може бути небезпечно», — сказав студент, додавши, що розробникам варто краще зрозуміти поведінку таких систем, перш ніж робити їх ще потужнішими.
