Суперінтелект. Стратегії і небезпеки розвитку розумних машин

• Книгу рекомендує Білл Гейтс
• Автор входиьт в топ-15 мислителів світу за версією журналу Prospect
• Ілон Маск, засновник SpaceX і Tesla, вважає цю книгу гідною прочитання

В останні роки дискусія щодо майбутнього прориву в сфері створення штучного інтелекту стає дедалі гострішою. Нік Бостром не береться прогнозувати, коли це станеться (хоча й каже, що, найімовірніше, це станеться вже в нинішньому столітті). Він фокусується на тій проблемі, яка постане перед людством, коли надрозум перетвориться з фантастики на реальність, й аналізує, до чого це приведе та якою може бути реакція людей у відповідь.

У процесі розвитку людства темпи розвитку економіки безперервно зростали. Часом – плавно, часом – стрибкоподібно, особливо внаслідок промислових революцій. Цей процес триває до сьогодні. І якщо той темп зростання, який зберігався останні 50 років, залишиться незмінним, то населення планети до 2050 року стане багатшим у 4,8 разів. А до 2100 року – у 34 рази. Цей стрибок може бути пов’язаний із вибухоподібним розвитком інтелекту та появою штучного надрозуму.

Автор цитує статтю 1965 року, написану математиком Ірвінгом Джоном Гудом, в якій міститься перший опис такого сценарію розвитку подій: «Давайте визначимо надрозумну машину як машину, яка значною мірою перевершує інтелектуальні можливості будь-якої найрозумнішої людини… Машина, наділена надрозумом, буде здатна розробляти ще більш досконалі машини; внаслідок цього, безперечно, станеться такий інтелектуальний вибух, що людський розум виявиться відкинутим далеко назад».

Незважаючи на такий песимістичний прогноз, першопрохідники у сфері штучного інтелекту не вірили в можливість створення надрозуму й тим більше заперечували ймовірні негативні наслідки такого прориву. Проте сьогодні експерти розглядають різні сценарії, у тому числі й ті, що нагадують сюжети фантастичних фільмів.

Дослідження штучного інтелекту, що почалися ще в минулому столітті, призвели на даний момент до таких важливих досягнень, як створення міцної статистичної та інформаційно-теоретичної бази для машинного навчання та маси комерційно успішних додатків у різних сферах діяльності.

Проте один із піонерів цього напряму Нільс Нільсон вважає, що всі ці результати – це «слабкий ШІ», мета якого – надання допомоги людині в її інтелектуальній роботі. На його думку, яку підтримують чимало корифеїв, людям варто зосередитися на створенні «сильного ШІ», тобто машинного розуму, який можна порівняти з людським. Бостром вважає, що найближчим часом ми можемо побачити чимало спроб створити такий ШІ. Він також упевнений, що незабаром за цією подією з’явиться і справжній надрозум – машина, яка перевершить людину. І, що найголовніше, у цієї події обов’язково будуть масштабні наслідки. «Вірогідність надзвичайно сильного впливу – позитивного чи негативного – на людство набагато вища, ніж ймовірність нейтрального», – пише він.

Що саме мають на увазі вчені, коли говорять про створення штучного інтелекту, який перевершує людський? Бостром виділяє три типи надрозуму: швидкісний, колективний та якісний.

Швидкісний надрозум. Зрозуміти та проаналізувати його набагато простіше, ніж інші типи. Він являє собою систему, здатну робити все те саме, що і людський інтелект, лише набагато швидше. Причому набагато в цьому контексті означає кілька порядків.

Приклад, який наводить автор – це повна емуляція головного мозку людини, виконана на надпотужному комп’ютерному обладнанні. Така система могла б прочитати книгу за кілька секунд, якби працювала лише вдесятеро швидше, ніж наш розум. А якщо вдасться досягти швидкості в мільйон разів вище, то ШІ зможе за день виконати інтелектуальну роботу, на яку в людини пішло б тисячоліття.

Для швидкісного надрозуму людське життя здавалося б нестерпно сповільненим, тому легко припустити, що він хотів би працювати з цифровими об’єктами. «Йому зручніше було б існувати у віртуальній реальності та мати справу з інформаційною економікою, а за необхідності – вступати у взаємодію з фізичним середовищем за допомогою наноманіпуляторів», – пише Бостром. Спілкуватися він теж вважав би за краще не з людьми, а з іншими швидкісними розумами.

Колективний надрозум. Це система, яка об’єднує безліч інтелектів нижчого рівня, завдяки чому її сумарна продуктивність перевищує продуктивність будь-якої когнітивної системи в багатьох універсальних галузях діяльності.

Ця концепція вже використовується людьми: у певному сенсі компанії, соціальні мережі, команди, держави є прикладами колективного розуму. Завдяки поділу завдань такий спосіб організації роботи дозволяє досягти хороших результатів практично у всіх сферах. «Така розумна система може бути посилена за рахунок удосконалення кожної окремої підструктури: розширення її складу, підвищення її рівня інтелекту, оптимізації її організаційної політики», – пише автор. Таким чином, щоб створити колективний надрозум, потрібно досягти різкого зростання на всіх рівнях існуючих систем.

Якісний надрозум. Цей тип є системою, за швидкістю роботи порівняну з людським розумом, але у якісному відношенні значно перевищує його. Приблизно так, як людський розум перевершує за якістю розум слонів, дельфінів та шимпанзе.

Бостром упевнений, що якщо виникне надрозум одного з описаних типів, то згодом він міг би допомогти розвитку технологій, які призвели б до появи надрозумів двох типів, що залишилися. З цієї точки зору всі три типи однаково досяжні. Також автор зазначає: «У чомусь ці три типи набагато ближчі один до одного, оскільки будь-який з них здатний створити два інші набагато швидше, ніж ми – один із них».

З якими завданнями справляються три види надрозуму? Швидкісний, очевидно, добре проявив би себе в ситуаціях, коли потрібно виконати довгу послідовність дій, колективний – коли потрібний аналіз та декомпозиція завдання на паралельні підзадачі, а також тоді, коли необхідно комбінувати різні навички. А якісний надрозум є універсальним типом: він здатний впоратися із завданнями, що знаходяться поза межами прямої досяжності швидкісного та колективного надрозуму.

Якщо припустити, що рано чи пізно прорив у сфері ШІ відбудеться, на перший план виходить питання: як швидко машина, яка має інтелект людського рівня, повністю перетвориться на надрозумну? Бостром розглядає три типи сценаріїв:

1. Повільний зліт. Якщо події розвиватимуться повільно, то перехід до надрозуму займе від десятків до сотень років. Цей сценарій дає можливість людству як слід підготуватися та адаптуватися до нової реальності, обміркувати свої подальші дії та способи взаємодії із надрозумом. Люди зможуть розробити та протестувати кілька теорій, навчити відповідних фахівців, перебудувати деякі з суспільних функцій. Якщо знадобляться більш досконалі системи безпеки, буде час для їхнього створення. Країни встигнуть провести переговори та знайти спільне вирішення проблем, що виникають.
2. Швидкий зліт. Цей сценарій має на увазі, що зміни настануть протягом дуже короткого часу: хвилин, годин чи днів. У такому разі люди не встигнуть практично нічого зробити, і якщо дивитися на появу надрозуму як на боротьбу, то людство її свідомо програє. А його доля залежатиме від тих кроків, які були зроблені наперед.
3. Помірний зліт. Цей сценарій може розгорнутися протягом кількох місяців до кількох років. У цьому випадку часу на розробку та тестування теорій не буде, але люди ще зможуть вжити деяких дій. «На створення та розгортання нових систем, таких як політичні заходи, механізми контролю, протоколи безпеки комп’ютерних мереж часу теж не залишиться, але, можливо, вдасться пристосувати до нових обставин вже існуючі норми», – пише автор.

У сценаріях помірного злету, швидше за все, виникнуть соціальні, економічні та політичні потрясіння, адже корпорації, групи інтересів та окремі люди намагатимуться забезпечити собі перевагу за рахунок появи надрозуму. Наприклад, автор наводить опис одного з можливих наслідків: на ринок праці виходять імітації людини, дешеві та продуктивні, після чого починаються масові звільнення людей. А за ними йдуть масові протести, на які уряди будуть змушені відреагувати, підвищивши розмір допомоги з безробіття та запровадивши деякі соціальні гарантії для населення, а також обклавши компанії додатковим податком використання праці роботів.

Який із сценаріїв найімовірніший? Бостром упевнений: повільний – найменше можливий. На його думку, з найбільшою часткою ймовірності події розгортатимуться за швидким сценарієм.

Окрім прогнозів, коли буде створено надрозум і як проходитиме цей процес, нас цікавить і те, яку владу він матиме. Автор упевнений, що якщо з’явиться інтелект, що перевищує людський, він отримає практично необмежені можливості й, напевно, зможе створити нову технологічну цивілізацію.

Розмірковуючи про таку перспективу, ми робимо поширену помилку – приписуємо надрозуму людські властивості, психічні особливості та мотивації. «На загальну думку, надрозумна машина швидше нагадуватиме мудрого зануду – така істота з енциклопедичними знаннями, але соціально незріла; послідовна у діях, але обділена інтуїцією та творчим початком», – пише Бостром. Однак насправді такий опис, можливо, міг би підійти зародку ШІ, але вже точно не надрозуму.

Наділяти ШІ антропоморфними рисами – не лише неправильно, а й небезпечно. Адже в цьому випадку ми ризикуємо недооцінити надрозум і просто не помітити, наскільки він перевищує наш інтелект. Люди мають дві крайності – поняття «розумний» і «дурний», і ми оцінюємо всіх, зокрема ШІ, за цією шкалою. Людям ще належить розробити методи оцінки когнітивних здібностей ШІ, проте вже зараз існує список стратегічно значимих завдань. Якщо система здатна впоратися з кожною з них, вона може вважатися надпотужною. Очікується, що надрозум зможе вирішувати їх усі, а розробники, які мають контроль над надрозумом, отримають величезні важелі впливу на світ.

Посилення інтелекту, вироблення стратегії, соціальне маніпулювання, зламування комп’ютерних систем, технологічні розробки, економічна ефективність – система, здатна вирішувати всі ці завдання, може створити власний довгостроковий план і відхилити варіанти дій, що призводять до її ураження. І не виключено, що цей план стосуватиметься захоплення влади в світі. Питання лише в тому, якою буде мотивація надрозуму.

Тут автор наводить дві тези. Перша – теза про ортогональність – говорить: більше чи менше будь-який рівень інтелекту може, у принципі, поєднуватися з більше чи менше будь-якою кінцевою метою.

Друга теза – про інструментальну конвергенцію – у спрощеному вигляді каже: надрозумні діючі сили, або агенти, – при найширшому розмаїтті своїх кінцевих цілей – переслідуватимуть подібні проміжні цілі, оскільки на це у всіх агентів будуть однакові інструментальні причини. Цими цілями може бути, наприклад, самозбереження, отримання ресурсів, посилення своїх когнітивних здібностей, вдосконалення технологій. Проте навіть знання конвергентних причин не дозволяє передбачити поведінку надрозуму. Можливо, ми й зможемо розібратися, які цілі ШІ, проте для їхньої реалізації він може вдатися до таких дій та фізичних явищ, які людству ще невідомі.

Бостром розглядає різні варіанти подій, із якими може зіткнутися людство. На даний момент спостереження за існуючими додатками ШІ показують: чим розумніші ШІ, тим він безпечніший. Причому йдеться не про припущення, а про дані серйозних наукових досліджень та статистику. Розробники стають дедалі оптимістичнішими, вони легше переходять на наступний етап – і в результаті рівень ШІ постійно зростає.

Але що, якщо це всього лише віроломний прийом з боку зародка надрозуму? Поки ШІ слабкий, він усіляко демонструє готовність співпрацювати з людьми. І що вище стає рівень інтелекту, то сильніша ця готовність. Але коли ШІ стане досить потужним, він без попередження завдасть удару та почне змінювати світ відповідно до своїх цілей.

Таких варіантів існує безліч, і Бостром робить висновок: «До сценаріїв, у яких штучний інтелект набуває вирішальної стратегічної переваги, слід ставитися з усією серйозністю».

Залишити процес розвитку ШІ без контролю означає проявити недалекоглядність, що загрожує катастрофічними наслідками. Причому деякі методи контролю або їхнє поєднання слід використовувати ще до того, як з’явиться справжній надрозум. Людям потрібно розробити рішення та впровадити їх у першу ж систему, яка стане надрозумною. Тільки в цьому випадку людство ще матиме шанс керувати ходом вибухового розвитку ШІ.

Бостром описує кілька видів контролю, які ми можемо використовувати для забезпечення власної безпеки:

• Ізоляційні методи, тобто помістити ШІ в середовище, де він не зможе завдати шкоди людству. Блокування може бути як фізичним, так й інформаційним. У першому випадку інтелектуальну систему ізолюють від зовнішнього світу, залишивши лише певні канали комунікації. Таку ізоляцію легко організувати та поєднувати з іншими видами контролю. Інформаційне блокування – це обмеження інформаційних потоків, що походять від ШІ. У фантастичних фільмах часто показують, до чого може призвести підключення надрозуму до Інтернету. Тому здається логічним не давати інтелектуальній системі доступу до комунікаційних мереж.
• Стимулюючі методи контролю полягають у створенні умов, за яких ШІ буде вигідно діяти на користь людей. Тут існує багато варіантів, один з яких – наділити надрозум кінцевою метою, яку можна взяти під контроль, і розробити для нього систему винагород.
• Методи затримки розвитку. Іншими словами, ми свідомо обмежуємо інтелектуальні можливості системи або її доступ до інформації. Найпростіший приклад – запуск ШІ на комп’ютері з низькою швидкодією або недостатньою пам’яттю. Зрозуміло, в такому разі штучний розум втрачає значну частину своєї корисності.
• Методи розтяжок. У цьому контексті розтяжки – це специфічне обладнання, яке дає можливість проводити діагностику ШІ, у тому числі без його відома. А в разі виявлення тривожних сигналів – відключати систему. Розтяжки можуть стати тимчасовими заходами, які забезпечують захист на етапі розробки ШІ та іноді – на етапі функціонування, особливо для ізольованих систем. Однак надрозум, що повністю сформувався, навряд чи вдасться стримати таким методом – він просто обійде будь-який захист.

Слід зазначити, що людство зможе використовувати не тільки методи контролю, а й методи вибору мотивації, які формують мотиви поведінки надрозуму в такий спосіб, щоб запобігти небажаним наслідкам. У тому числі – метод точної специфікації (тобто однозначне формулювання мети та системи правил, яким має слідувати ШІ), метод приручення (розробка програми про те, щоб привести ШІ до вибору кінцевих цілей, які будуть влаштовувати людство) та інші.

Але все ж таки, виходячи зі всього вищесказаного, чи варто людям радіти успіхам у розвитку апаратного забезпечення та крокам на шляху до створення комп’ютерної моделі мозку? «Швидкий прогрес у галузі апаратного забезпечення підвищує ймовірність швидкого зльоту», – пише автор. Отже, об’єктивно цей прогрес небажаний. Однак, чи це так насправді, невідомо. Будь-якої миті можуть з’явитися докази того, що затримка розвитку апаратного забезпечення призведе до ще гірших наслідків.

Що ж до другого питання, тобто серйозні передумови припускати: якщо комп’ютерна імітаційна модель головного мозку (КІМГМ) з’явиться раніше, ніж надрозум, то ризик переходу до ШІ буде нижчим. «Якщо дивитися скептично на здатність людства керувати переходом до ШІ, – взявши до уваги, що людська природа чи цивілізація можуть покращитися до того моменту, коли ми зіткнемося з цим викликом, – то сценарій «спочатку КІМГМ» видається привабливішим», – стверджує Бостром.

Проте інтуїтивно люди прагнуть швидшого розвитку. Адже всі, хто зараз живе на планеті, помруть упродовж найближчих 100 років. І багато хто з нас хотів би застати майбутнє, яким би воно не було. Крім того, ми потай сподіваємося на те, що надрозум винайде спосіб продовжувати людське життя, причому роблячи його якісним.

Таким чином, суб’єктивно швидкий прогрес у галузі апаратного забезпечення є таким же бажаним, як і в галузі створення КІМГМ. Потенційні ризики вибухового розвитку компенсуються ймовірною користю окремо взятої людини.