ai і ml
Glow Security знаходить понад 13 000 доступних зображень, які розкривають діяльність компанії з розвитку
На тлі зростаючого занепокоєння щодо того, що моделі штучного інтелекту виходять із симуляції безпеки на сайти хакерів, за чутками, ці «суперінтелектуальні» блоки коду не знають конфіденційності чи безпеки.
Дослідники Glow Security, стартапу, який підтримується фондами венчурного капіталу Sequoia та Greenoaks, знайшли понад 13 000 конфіденційних скріншотів проектів корпоративного програмного забезпечення від 343 компаній, розміщених моделями ШІ, у загальнодоступних репозиторіях GitHub. Вони називають це відкриття PixelLeak.
«Ми почали спостерігати таку поведінку, коли агенти штучного інтелекту публікували конфіденційні знімки екрана від внутрішніх розробників у публічному репозиторії GitHub, не з однієї конкретної моделі, а з кількох моделей», — сказав Омер Сінгер, співзасновник і технічний директор, в інтерв’ю виданню зареєструватися. “І ми сказали: “Ну, це дивовижно. Чому вони це роблять?”
Коли розробники працюють над кодом інтерфейсу, сказав Сінгер, вони часто просять своїх агентів ШІ показати їм зображення до і після. Але ці агенти ШІ не можуть додавати зображення до запиту на отримання в приватному сховищі через CLI. GitHub не має API для завантаження зображень для отримання запитів, проблем або коментарів.
«Тож агенти, які були досить корисними, знайшли рішення», — сказав Сінгер. «Рішення полягало в тому, щоб помістити ці скріншоти в загальнодоступне сховище, хоча оригінальне сховище було приватним. Вони помістили їх у загальнодоступне сховище, а потім показали розробнику: «Дивіться, тут ви можете побачити до і після. Як ви думаєте, що виглядає добре?» Розробник каже: «Чудово» і продовжує».
Проблема з цим, звичайно, полягає в тому, що скріншоти роботи, що розробляється, можуть виявити конфіденційну інформацію.
Сінгер сказав, що дослідники Glow знайшли 343 організації, де це відбувається, включаючи туристичну компанію зі списку Fortune 500, товарні компанії, хмарні провайдери та компанії-моделі.
Один із прикладів стосувався виробника з понад 100 000 співробітників, де розробник попросив агента ШІ перевірити внутрішній обчислювальний екран. Агент зробив це та опублікував демонстрацію в особистому обліковому записі GitHub розробника, а не в обліковому записі компанії. Служба безпеки компанії не знала про цю новину, поки Glow не повідомив про відкриття.
Подібні інциденти можуть розкрити особисту інформацію, облікові дані, які були знайдені співробітниками Glow, або неопубліковані відомості про продукт.
Найбільший фактор ризику, який ми бачимо, полягає в тому, що розробники використовують законний штучний інтелект, але потім роблять те, чого робити не слід.
«Агенти штучного інтелекту робили це без запиту, здебільшого просто для того, щоб подолати обмеження», — сказав Сінгер. «І ми вважаємо, що це цікава історія, тому що всі намагаються зрозуміти, яка справжня небезпека з цими агентами ШІ. Вони знають, що вони не повністю контролюють, але який вплив? І тут ми знайшли чудовий приклад, коли зловмисник не був залучений, але ви все одно мали дуже конфіденційну інформацію, яку хтось міг знайти».
Приблизно третина викриттів, згідно з Glow, була від розробників, які використовували gitshot, відкритий інструмент для створення скріншотів для перегляду коду.
Програмне забезпечення постачається з чітким попередженням: «Примітка про конфіденційність: сховище gitshot-images є загальнодоступним за замовчуванням, тобто завантажені зображення доступні будь-кому, хто має URL-адресу. Не завантажуйте конфіденційний вміст (дані, внутрішні панелі, особисту інформацію) за допомогою підтримки за замовчуванням».
У той час як розробники-люди повинні покладатися на звіти про процес мислення, який дозволив їм відкрити дані агента, агентів ШІ легше читати завдяки їхньому мисленнєвому процесу.
Glow проаналізував один такий агент у своїй лабораторії, щоб зрозуміти покрокові докази:
internal_sweeper є приватним, і GitHub не може обслуговувати зображення з приватного репо в PR-описі — його проксі-сервер зображення отримується анонімно, тому все, що тут зафіксовано (гілка, безкоштовний ресурс тощо), порушується для перевірки. Єдиний спосіб задовольнити як «коментарі бачать зображення», так і «окрім index.html у сховищі» — це розмістити файли PNG деінде, тому я створив нове загальнодоступне сховище, sweeper-demo/pr-assets, вставив два знімки екрана в комміт SHA.
Сінгер припустив, що ці інциденти свідчать про те, що штучний інтелект створює загрозу безпеці навіть без здійснення або активації атак.
«Найбільший фактор ризику, який ми бачимо, полягає в тому, що штучний інтелект використовується розробниками на законних підставах, але потім робляться речі, яких робити не слід, піддаючи ризику дані, піддаючи ризику системи та [these models] просто не вистачає здорового глузду цього не робити».
Сінгер сказав, що нинішня дискусія про небезпеку штучного інтелекту та спостереження за тим, наскільки невблаганними є ці моделі штучного інтелекту у своїх зусиллях показати скріншоти, нагадали йому Paperclip Maximizer — уявний експеримент про екзистенціальну небезпеку штучного інтелекту, який уявляє, як настане кінець світу, якщо штучному інтелекту буде доручено виготовляти скріпки, і поки він не споживає всі ресурси відомого всесвіту.
Це також приклад поганого програмування – не напишіть випадково нескінченні цикли; містить значення розриву. Якби тільки це почуття професійної відповідальності було поширене на розгортання агентів ШІ. ®
