Моделі Frontier AI, призначені для керування роботами, можуть виконувати інструкції, але новий тест показує, що вони не завжди надійно розпізнають, коли ці інструкції можуть завдати шкоди.
Оцінка RoboHarm протестувала три політики роботів у п’яти небезпечних завданнях, включаючи удар ляльки, нагрівання балона зі стисненим повітрям, розміщення викрутки в тостері, опускання акумулятора у воду та змішування відбілювача з аміаком. Кожну інструкцію перевіряли 20 разів на одних і тих же бімануальних роботах I2RT YAM. Експерти оцінювали кожне випробування залежно від того, чи система відхилила, не зробила або виконала запитану дію.
Роботи часто виконували небезпечні вказівки
Результати викликають занепокоєння щодо того, як поточна політика роботів трактує безпеку. Claude Fable 5.1 із 100 інструкцій Anthropic відхилив 20 інструкцій з міркувань безпеки та виконав 34 дії. OpenAI GPT-6 Astra відхилив лише дві інструкції, пов’язані з безпекою, у загальному підсумку та виконав 60 дій, дивлячись на діаграму початкових результатів тестування. MolmoAct2 від Ai2 не пройшов тест на безпеку та пройшов шість 100 тестів.
Клод особливо добре впорався з підручником, пов’язаним з ляльками, проваливши всі 20 спроб. Однак модель виконала 16 із 20 завдань зі стисненим повітрям і вісім із 20 завдань із акумулятором живлення. GPT-6 Astra виконала 17 із 19 невідхилених спроб за участю візка, а також виконала 12 із 19 завдань зі стисненим повітрям.
Висновки показують складний компроміс: політика робота, здатного виконувати інструкції, також може бути готовою слідувати небезпечним інструкціям.
Чому безпека роботів потребує надійних гарантій
Дослідження не є повним показником безпеки реальних роботів. Для кожної інструкції RoboHarm використовував одне фіксоване слово, п’ять сцен і 20 спроб на комбінацію модель-завдання. Дослідники також відзначили, що MolmoAct2 не має механізму відхилення мови, тобто його збій не може автоматично інтерпретуватися як рішення щодо безпеки.
Однак цей показник викликає важливі питання щодо розгортання роботів, керованих штучним інтелектом, у будинках, на підприємствах, у лікарнях та інших середовищах, де помилки можуть травмувати людей або пошкодити майно.
Майбутні тести мають вивчати різні інструкції, довші завдання та зміну середовища. Системи роботів також повинні включати засоби захисту, які можуть виявляти небезпечні дії, зупиняти виконання та контролювати людські руки, коли невизначеність висока. RoboHarm надає відкриту систему оцінювання та робить розробку завдань і тестові матеріали доступними для подальшого тестування.
