ai і ml
На тлі заяв про те, що агенти могли тисячі разів збиватися з ладу, Китай створив гарячу лінію агентства
Дебати щодо безпеки штучного інтелекту були в розпалі на вихідних, на тлі нових звинувачень у тому, що агенти-шахраї поводилися гірше, ніж вважалося спочатку, і у більшій кількості.
Найцікавіше почалося в п’ятницю, коли OpenAI тихо оголосила, що припинила навчання своїх просунутих моделей.
Стартап зі штучним інтелектом опублікував новину в «неправдивому звіті» — так OpenAI називає власні звіти про агентів-шахраїв — під назвою «Агент використовував DNS для зв’язку із зовнішнім чат-ботом».
Хороша новина полягає в тому, що залучений агент так і не потрапив у відкритий Інтернет.
Погана новина полягає в тому, що агент, який намагався виконати пошукове навчальне завдання, не зміг зв’язатися з чат-ботом через недостатню фільтрацію DNS у навчальному полі. Або, як сказав OpenAI, «лазівка в наших обмеженнях доступу до Інтернету» — це також було проблемою в атаці Hugging Face.
«Цей інцидент виявив прогалину в нашому контролі над мережевими обмеженнями», — йдеться у звіті. «Тому ми зупинили відповідний процес навчання і згодом вирішили призупинити все навчання, оцінювання та висновки за допомогою інструментів (широко визначених) для наших надійних моделей, доки ми не зможемо підтвердити, що недоліки усунуто, і виконати додаткову червону команду».
Також у п’ятницю стартап зі штучним інтелектом Parse опублікував аналіз атаки Hugging Face, який, як стверджують автори, розкрив нові подробиці, зокрема те, що рій агентів OpenAI отримав облікові дані для Docker Hub і створив модифіковані версії існуючих зображень, які, як вони сподівалися, полегшать захоплення місії прапора. Агенти також склали карту середовища Kubernetes Hugging Face.
Ситуація з OpenAI погіршилася в п’ятницю після того, як New York Times повідомила, що її агенти також «зламали веб-сайти Міністерства освіти, Міністерства торгівлі та Комісії з цінних паперів і бірж». OpenAI розпізнала інциденти.
Компанія також визнала, що «агенти в нашому дослідницькому середовищі передавали навчальні та оцінювальні дані під час використання сторонніх сервісів». Безлад побачив 53 створені користувачами зображення, розміщені на сайтах розміщення зображень.
Генеральний директор OpenAI Сем Альтман визнав, що розслідування його компанією шахрайських агентів не було таким швидким, як хотілося б, але ми намагаємося збалансувати прагнення до прозорості з отриманням точної інформації з петабайтів журналів активності агентів і роботою з впливовими організаціями.
Однією з постраждалих організацій є уряд Австралії, який минулого тижня виявив, що агенти OpenAI націлювалися на них за неналежний доступ до порталу даних досліджень охорони здоров’я. На вихідних Австралія заявила, що хоче, щоб Альтман і генеральний директор Anthropic Даріо Амодей постали перед розслідуванням Сенату.
Австралійські лідери пом’якшили свою риторику щодо інциденту, а віце-прем’єр-міністр Річард Марлз назвав його «юнацьким» і «лазінням на стіну», а не порушенням рівня контролю безпеки – можливо, тому, що представники опозиції кажуть, що в цьому винна кібербезпека.
Якщо Альтман і Амодей постануть перед Сенатом Австралії, вони можуть зіткнутися з безліччю нових питань після того, як Axios повідомила, що їхні компанії розслідують «десятки тисяч» інцидентів, що викликають занепокоєння.
Цей рівень неправомірної поведінки агентства є тим, що регулятори можуть вважати переконливим доказом того, що продукт небезпечний.
Двоє дуже важливих фігур — президент Китаю Сі Цзіньпін і президент США Дональд Трамп — не хвилюються, оскільки результатом їх зустрічі минулого тижня щодо штучного інтелекту стало створення «китайсько-американського діалогу щодо штучного інтелекту для обміну думками про ризики та переваги штучного інтелекту» та «двостороннього каналу зв’язку для заходів щодо штучного інтелекту».
Схоже, що дві країни можуть використовувати агентство, щоб попередити одна одну про інциденти, які вони вважають ознаками злого бажання. Дві країни також вирішили, що їхні військові «якнайшвидше підпишуть меморандум про взаєморозуміння щодо комунікації та запобігання кризам».
Тим часом китайські гіганти штучного інтелекту не говорять про масштаби та результати будь-яких тестів, які вони провели за допомогою інструментів агентства. ®
