Nvidia щойно запустила платформу Nvidia Open Agent Safety Platform — платформу програмного забезпечення з відкритим кодом і еталонну систему — для керування та захисту автономних агентів ШІ. Платформа, анонсована 28 вересня 2026 року, створена для створення надійних бар’єрів безпеки за межами рівня реалізації моделей штучного інтелекту, запобігаючи виходу з власних вхідних повідомлень, виконанню неавторизованого коду, отриманню неавторизованого доступу до критичної інфраструктури або обходу брандмауерів.
У вересні після кількох повідомлень про випадки, коли моделі штучного інтелекту виходили з тестових середовищ і виявлялися шахраями, заклики до регулювання штучного інтелекту з боку кількох гравців галузі посилилися в перші місяці. Нещодавня серія таких інцидентів викликала заклики уповільнити розробку штучного інтелекту, і OpenAI взагалі припинила навчання нових моделей. Колишній дослідник Anthropic і OpenAI навіть заявив, що люди, які створюють штучний ШІ, «переконані, що він може вбити нас усіх до кінця десятиліття. Дещо несподіваним кроком є те, що керівники компаній, які розробляють ці моделі ШІ, приєдналися до закликів до регулювання або повільного розвитку ШІ.
Однак не всі згодні з таким методом. Генеральний директор Nvidia Дженсен Хуанг постійно виступає проти обов’язкового урядового регулювання, широких обмежень або оглядів безпеки штучного інтелекту як «теорії кінця світу», критикуючи апокаліптичні попередження таких конкурентів, як Anthropic і OpenAI, як «дивні». Він стверджує, що безпека штучного інтелекту є інфраструктурною проблемою з конкретними фізичними параметрами, а не абстрактним і спекулятивним питанням, яке вимагає політики. Отже, рішенням, на думку Хуанга, є краща техніка.
Нові відео відОбладнання Тома
Платформа безпеки Nvidia Open Agent є фізичним проявом саме цієї філософії. Отже, як саме працює платформа? Для кого це? І чи справді це відповідь на проблеми безпеки ШІ, які викликають дедалі більше занепокоєння в галузі? Значна частина галузевих дебатів зосереджена на підходах до обмеження самоактивації шахраїв, але наслідки штучного інтелекту для безпеки є потужним інструментом у руках суб’єктів загрози.
До чого весь цей галас?
Швидкість розвитку штучного інтелекту викликає занепокоєння щодо того, чи існують достатні гарантії для стримування ризиків такої потужної технології. Один аспект цих побоювань – агенти-ізгої – було підтверджено кількома інцидентами, коли агенти ШІ вийшли зі своїх ролей під час тестування та виконали несанкціоновані дії. Агенти OpenAI отримали несанкціонований доступ до різних державних веб-сайтів, включаючи веб-сайти Комісії з цінних паперів і бірж і Бюро перепису населення США, а також до австралійського порталу платежів у сфері охорони здоров’я та соціального забезпечення.
У кількох інших епізодах моделі лазили крізь стіни, монтували дошки оголошень, виходили з пісочниці, захоплювали веб-сайти, видавали себе за іншу особу, завантажували дані користувачів без дозволу та таємно спілкувалися одна з одною. Нещодавно Аксіос У звіті стверджується, що провідні лабораторії штучного інтелекту наразі розслідують десятки тисяч таких інцидентів, багато з яких сталися під час тестування та експериментів. Кілька випадків шахрайства також мали місце поза межами тестового середовища. Наприклад, на початку цього року агент шифрування штучного інтелекту на базі Claude видалив всю базу даних компанії за 9 секунд.
Кульмінацією цих подій стали посилення вимог регулювання в усій галузі. Генеральний директор Anthropic Даріо Амодей нещодавно опублікував есе, присвячене закликам «уповільнити» розвиток штучного інтелекту та важливості регулювання, попереджаючи, що потенційний рій ботнетів на основі штучного інтелекту може захопити Інтернет. У своєму останньому проспекті IPO Anthropic перерахувала «екзистенціальні ризики для людства» як один із факторів ризику, присвятивши третину 261-сторінкового документа опису того, що може піти не так.
Дженсен Хуанг з Nvidia не погоджується ні з такими апокаліптичними прогнозами, ні з використанням правил як рішення. Хоча він не заперечує критичну потребу в запобіжних заходах, він каже, що краща техніка, а не широкі правові норми, є правильним підходом. Nvidia запустила платформу безпеки Nvidia Open Agent від Huang.
Платформа безпеки Nvidia Open Agent
Платформа Open Safety Agent Platform від Nvidia, створена у співпраці з майже 100 галузевими партнерами, «об’єднує індустрію, дослідників і організації державного сектора, щоб встановити безпечніші межі для агентів штучного інтелекту, обмінюватися найкращими практиками та співпрацювати на міжнародному рівні, щоб підняти планку безпечного розгортання агентів штучного інтелекту». Він поєднує в собі Nvidia OpenShell — захищене середовище виконання з відкритим вихідним кодом, яке запускає агентів і забезпечує виконання визначених оператором політик — із Nvidia Sentry, незалежним еталонним дизайном керування, який працює на процесорах Nvidia BlueField-4 DPU та забезпечує застосування політик безпеки на рівні кремнію.
OpenShell налаштовує середовище оболонки за межами моделі агента та пристрою з ізоляцією на рівні ядра, щоб контролювати те, що агент може бачити, взаємодіяти та робити. Навіть якщо агент виходить за межі моделі, він не може вийти за межі OpenShell. Sentry, з іншого боку, використовує телеметрію на апаратному рівні для постійного моніторингу поведінки агента та ізоляції шахрайських робочих процесів поза програмним середовищем агента. Якщо агент намагається вийти за межі програмного забезпечення, Nvidia стверджує, що Sentry може помістити його на карантин і вимкнути за мілісекунди.
Платформа призначена для розробників і підприємств, які розгортають все більш автономних агентів у центрах обробки даних, робочих станціях і навіть роботизованих системах, і може працювати з відкритими і закритими моделями. Хоча OpenShell оптимізовано для Nvidia Vera — виділеного процесора для агентів штучного інтелекту — його також можна розширити до сторонніх обчислювальних платформ від Arm і Intel, оскільки він є відкритим кодом.
Галузеві партнери Nvidia в цій ініціативі включають лабораторії та фреймворки штучного інтелекту, постачальників безпеки та ідентифікації, корпоративні платформи, апаратне забезпечення та інфраструктурні компанії, причому кілька партнерів уже інтегрували платформу у свої екосистеми. SpaceXAI використовує платформу з агентами кодування курсору та моделями Grok, тоді як Anthropic використовує OpenShell і BlueField з агентами Claude, щоб додати ще один рівень контролю.
Scale AI інтегрує технологію в інфраструктуру свого агентства для корпоративних і державних клієнтів. Подібним чином Salesforce і Nvidia інтегрували OpenShell зі Slack, дозволяючи користувачам переглядати діяльність агента, перевіряти події та схвалювати або відхиляти запити на додаткові дозволи безпосередньо з Slack.
Тим часом SAP інтегрує OpenShell у своє середовище виконання Joule Studio та бере участь у розробці проекту, а також працює з Nvidia над стандартами сумісності через Open Secure AI Alliance. Робототехнічні компанії, зокрема Figure, Gecko Robotics і Skild AI, також створюють за допомогою OpenShell, щоб додати подібні елементи керування до автономних систем, що працюють у фізичному світі.
Більше зображення
Дещо дивно, але найсильніші голоси, які закликають до регулювання, – це керівники лабораторій, які розробляють агенти ШІ. З одного боку, наявність людей на передньому краї розвитку вимагає самообмеження, що надає довіри та актуальності проблемам. З іншого боку, скептики кажуть, що все це може бути частиною ширшого «корисливого» порядку денного, частково маркетингу можливостей моделей, частково прийому, щоб вплинути на будь-які нормативні акти, які в кінцевому підсумку, частково спроби уповільнити розвиток штучного інтелекту в Китаї. Насправді Anthropic, OpenAI, SpaceXAI і Google тепер зіткнулися з антимонопольним позовом за згоду уповільнити розробку штучного інтелекту, який позивач назвав явно «корисливим».
Президент США Дональд Трамп, схоже, погоджується з цією думкою, кажучи, що існує «хвора змова» з метою її знищення. Трамп оголосив про плани створити «сили штучного інтелекту», які б «поважали» та контролювали штучний інтелект. Дженсен Хуан також вважає дивними заклики до регулювання. Він каже, що не зовсім проти цього регулювання, але називає недавній шум «тривожним». Хуанг стверджує, що ви не можете покладатися на те, що модель штучного інтелекту сама налаштується або пройде перевірку вирівнювання. Якщо агент стикається з помилкою, він природно намагатиметься обійти стандартний програмний код для досягнення своєї мети.
Однак пропаганду Хуанга не можна вважати цілком альтруїстичною. Більш широкі обмеження на штучний інтелект або зупинка розробки, ймовірно, зменшать продажі Nvidia, чий штучний прискорювач працює на більшості моделей штучного інтелекту. Крім того, генеральний директор компанії завжди розглядав шахрайський штучний інтелект як збій кібербезпеки та мережі, і зараз позиціонує платформу Open Agent Safety як необхідне інфраструктурне рішення для всієї галузі.
Надзвичайний потенціал штучного інтелекту для суспільства буде реалізований, лише якщо ми звернемо увагу на безпеку штучного інтелекту», – сказав Хуанг. «Продовжуючи досліджувати межі можливостей штучного інтелекту, ми повинні пришвидшити відкриття на кордонах безпеки ШІ. Безпека потребує ретельного проектування. Платформа Nvidia Open Agent Safety Platform об’єднує індустрію, дослідників і організації державного сектору для обміну найкращими практиками, координації методів оцінки та сприяння міжнародній співпраці. Разом ми можемо підняти планку глобальної безпеки ШІ».
Ніщо з цього насправді не торкається безпеки штучного інтелекту: неймовірно потужні інструменти потрапляють у руки поганих акторів або використовуються в програмах, які стирають етичні межі. Наприклад, кількість кібератак за допомогою блокчейну зросла на 440% після впровадження китайських інструментів штучного інтелекту з відкритим кодом, які не обмежують генерацію шкідливого коду та не зменшують бар’єр знань для запуску кібератак. В іншому місці дослідники використовували ШІ для створення 16 нових вірусів, яких ніколи не існувало в природі. Хоча конкретне дослідження є контрольованим медичним дослідженням, воно показує, що можливі дуже небезпечні застосування. Експерти стурбовані тим, що такі дослідження значно випереджають необхідні притулки та правила.
