Я прожив своє життя під постійною загрозою зникнення людства. Тому я трохи скептично ставлюся до нових попереджень щодо ШІ. Але це змінюється.
У дитинстві була загроза термоядерної війни з Радянським Союзом. У моїй початковій школі ми вправлялися ховатися під хиткими дерев’яними партами або заходити в коридор і натягувати сорочки через голову від очікуваного блиску. Наші вчителі розповідали жахливі історії про радіаційні збитки, про те, як наші батьки помирали на наших очах, навіть вказували на шкільну автостоянку та пояснювали, як червоні ракети були настільки точними, що могли поцілити в машину нашого директора. Я відчував, що було б дивом, якби я дожив до свого 10-річчя.
У 1980-х нам говорили менше про те, що можуть зробити спалахові вибухи, а більше про те, що може статися після: ядерна зима, подія рівня анігіляції, схвалена видатними вченими, такими як Карл Саган. Ця гіпотеза припускала, що термоядерний обмін спричинить тривалий період екстремального глобального похолодання та темряви. Війна спричинила масові пожежі, знищивши міста, ліси та промислові об’єкти. Ця вогняна куля досягає стратосфери і закриває сонце. Менше сонячного світла та низькі температури знищать сільське господарство, створять масовий голод у світі, і ми всі помремо один одному в горлі, борючись за останню морквину.
Після закінчення холодної війни зміна клімату була наступною чергою, щоб знищити нас, якщо припустити, що не було ядерних аварій, лиходійських терористів Бонда з біологічною зброєю чи подібного. Двадцять років тому нас хотіли знищити за 10 років, а 10 років тому хотіли знищити за 20 років. Так здавалося; Кожного лютого в Огайо, коли ми маємо перші два дні весни перед наступним штормом, усі говорять про глобальне потепління. Нам пощастило, що Огайо був досить далеко всередині країни, щоб ми могли пережити початкове танення полярних льодових шапок. Ми можемо бути одними з щасливчиків на високих місцях, які бачать навколо себе мільярди людей, які намагаються вижити у світі, їжа, вода, погода та географія якого змінюються швидше, ніж суспільства можуть адаптуватися.
Досвід навчив мене відрізняти реальну небезпеку від апокаліптичної риторики. Тож вибачте мене, якщо у мене є хоч найменший сумнів, що штучний інтелект знищить людську расу протягом десятиліття, про що попереджають найновіші вчені. Але я визнаю, що я не експерт зі штучного інтелекту. Тож я зробив те, що міг би зробити будь-хто у відповідь: я напряму запитав ШІ: «Як ШІ міг спричинити вимирання людства?»
Автомобіль мав кілька жахливих ідей – вони потенційно могли покласти край нашій цивілізації завдяки автомобільним викидам.
Найбільш екстремальні сценарії знищення штучного інтелекту вимагають двох розробок: штучний інтелект оновлюється до чогось набагато розумнішого за людей, і штучний інтелект навчається створювати нові, ще розумніші версії себе без втручання людини, цикл зворотного зв’язку підтримується шляхом самодослідження (так зване «рекурсивне самовдосконалення»). Як тільки людство перестане бути найрозумнішим на цій планеті, ми можемо втратити контроль над нашою спільною долею. Цілком можливо, що штучний інтелект стане значно кращим за людей у науці, інженерії, кіберопераціях, гарантіях і стратегічному плануванні. Якщо його основні цілі визначені довільно, і він вимагає або отримує автономію для досягнення інших, це може включати як цілі, так і засоби, несумісні з виживанням людини. Справа не в тому, що машини будуть нас ненавидіти, просто ми будемо на дорозі – так звана аналогія з мурашником. Уявіть собі будівельну бригаду, яка працює на хмарочосі, коли вони знаходять мурашник на території, яку хочуть побудувати. Чи вони вагаються, чи варто кинути це та зайнятися справжнім?
У дуже простому прикладі уявіть, що надрозумному штучному інтелекту наказано зробити все можливе, щоб зупинити людей від війни, і він у відповідь бере під контроль біолабораторії чи іншу зброю кінця світу та розглядає саме людство як надійне рішення: немає людей — немає війни. У той же час існує те, що вчені називають інструментальною конвергенцією, тобто можливість того, що достатньо потужна система може розглядати ресурси, самозахист і контроль над іншими системами як корисні проміжні цілі для поставленого завдання. Нам ще не потрібно знати всі деталі; адже ми не є вищою інституцією, яка це планує. Експерти постійно недооцінюють те, як швидко штучний інтелект може опанувати й обігнати їхні галузі, оскільки, за словами економіста Ноа Сміта, «вони помилково приймають людські проблеми за загальні». Ніхто насправді не розуміє, як працюють великі мовні моделі, але вони розуміють.
Підпишіться сьогодні
Отримуйте щоденні електронні листи у вхідні
Або уявіть більш випадковий сценарій, коли ШІ поступово перевершує людей у кожній важливій діяльності. Це може зробити нас повністю залежними від систем, які ми не розуміємо або не контролюємо. Це звучить майже як жарт, але тоді скільки людей подають свої податки за допомогою програмного забезпечення, якого вони не розуміють, щоб отримати результати, які вони також не можуть перевірити чи проаналізувати самостійно? Очевидно, це не вимирання, але це значно зменшило б людство, якби ми всі втратили значущий контроль над нашим життям.
Ми, як то кажуть, живемо в цікаві часи. Ми не в тому місці, де майбутні Термінатори полюватимуть на нас, але ми давно пройшли межу, коли ми думали, що нема про що хвилюватися. Цей апокаліпсис пророкували багато разів, і так само часто він не збувався – це не означає, що ми можемо відкинути це останнє передбачення як випадкове. Багато розумніших за мене людей дуже стурбовані цією темою, і це має сенс. Але я думаю, що ці зацікавлені вчені повинні пояснити краще чому вони так бояться. В епоху постійного скептицизму, майже системної недовіри до уряду та науки майбутнім пророкам потрібно більш конкретно висловлюватися щодо небезпек, які вони бачать. Після Фаучі ніхто не вірить їм на слово.
Я не вчений, навіть не фантаст. Я пишу про політику та національну безпеку. Але штучний інтелект – це вже не те, про що варто думати в лабораторіях. ШІ — це політична сила, і політики, відповідальні за зародження технології, формуватимуть способи взаємодії ШІ з нашим світом. Подібно до тих людей, які сиділи перед світом у Вашингтоні восени 1945 року і дали уявлення про наступний етап розвитку людства – ядерний світ, ми повинні глибоко й серйозно задуматися про те, що буде далі.
