Велика дев'ятка: як IT-гіганти та їх розумні машини можуть змінити людство

• Книгу рекомендує Пітер Шварц, старший віце-президент Salesforce.com
• Видання одержало позитивні відгуки від Wired, Science News, InsideHigherEd
• Книгу радить до прочитання викладач Стенфордського університету Анджа Мануель
• Рекомендовано Києво-Могилянською Бізнес-Школою

Нам хочеться думати, що ми повною мірою контролюємо процес розвитку штучного інтелекту (ШІ), закриваючи очі на очевидне. А саме на те, що найбільші технологічні компанії прискореними темпами створюють майбутнє, керуючись фінансовими або ідеологічними стимулами й не приділяючи належної уваги етичним принципам. І якщо логіка розвитку ШІ залишатиметься незмінною, то майбутнє буде зовсім не таким, в якому бажало б опинитися людство.

Становлення штучного інтелекту відбувається поступово, видозмінюючи діяльність різних сфер і проникаючи в наш побут. Але чи є глибина цих зрушень очевидною для нас? Авторка впевнена, що ми знаходимося у коловороті масштабної трансформації й у цьому схожі з поколіннями, що жили в епоху промислової революції. Якщо порівнювати темпи змін, що відбувалися в XVIII-XIX століттях, з тривалістю людського життя, то вони були поступовими й тому залишалися непомітними для поколінь, які жили в ту епоху. Але до моменту завершення промислової революції світ був зовсім іншим. Яким же буде світ після нової революції машин? Чи замислюємося ми про це? Футурологи часто схиляються до двох крайнощів, уявляючи утопічні або апокаліптичні картини. Якщо ж говорити про суспільство в цілому, то більш ніж будь-коли раніше в ньому проявляється схильність мислити категоріями найближчих декількох років, що практично означає нездатність взяти на себе відповідальність за довгострокові наслідки останніх технологічних досягнень. Тим часом «велика дев’ятка» (а це три китайські компанії — Baidu, Alibaba, Tencent — і шість американських — Google, Microsoft, Amazon, Facebook, IBM, Apple) працюють над створенням майбутнього для всіх нас, використовуючи потенціал ШІ й досягаючи вражаючих проривів. Чи допоможе штучний інтелект втілити картини ідеального майбутнього? Якщо виходити з того, що його творцями рухають виключно альтруїстичні міркування, то це можливо. Однак, як відомо, переслідуючи навіть найблагородніші цілі, люди ненавмисно можуть чинити велике зло. У випадку компаній – ситуація аналогічна. Тому, як зауважує Уебб, коли питання стосується технології (і, в першу чергу, ШІ), слід передбачити не тільки її навмисне використання на благо, але й ненавмисне – на зло. Якщо на перших етапах розвитку ШІ суть цієї технології була досить очевидною, то поступово вона ставатиме більш закритою для нас, зосереджуючи в собі все більшу владу. За словами авторки, люди швидко втрачають усвідомлення того, що відбувається, в той час як машини пробуджуються. З кожною новою віхою розвитку ШІ стає все більш невидимим для нас. Те, як збирають й використовують наші дані, стає менш очевидним, а наша здатність розуміти те, як функціонують автономні системи, слабшає. Таким чином, розрив між суспільством і екосистемою ШІ, що складається з відносно вузького кола гравців, поглиблюється. Людство наближається до екзистенційної кризи, оскільки ніхто не приділяє увагу простому, але основному питанню: що станеться з суспільством, якщо ми передамо владу системі, яку невелика група людей створила заради прийняття рішень, що стосуються всіх? Що відбуватиметься, коли важелями розвитку ШІ будуть ринок і споживацтво (у США) або амбіції потужної політичної сили (у Китаї)? Уебб вважає, що людству потрібні дії, спрямовані на те, щоб максимально скоротити прірву між суспільством і тими, хто визначає перебіг розвитку технологій. Для цього, в першу чергу, необхідно демократизувати дискурс, який ведеться навколо ШІ. Кожна людина, що живе сьогодні на Землі, може зіграти критично важливу роль у майбутньому штучного інтелекту. Необхідно усвідомити, що рішення, які приймаються сьогодні стосовно ШІ, навіть такі, що здаються малозначущими, стануть визначальними для майбутнього цивілізації. Із пробудженням машин ми можемо опинитися в реальності, яка, всупереч нашим надіям і найкращим прагненням, стане катастрофою для людства.

П’ять основних думокЗа своєю сутністю штучний інтелект – це система, здатна приймати самостійні рішення. Але що означає поняття розумності, коли мова йде про машину? Якщо голосовий помічник Alexa допомагає нам вибрати їжу в ресторані, чи означає це розумність? І чи може мислячий пристрій зрівнятися за розумом з людиною або перевершити нас? Пошук відповіді на це запитання спричиняє серію інших. Чи можуть машини думати? Що означає думати для машини і що це означає для нас? Що є думка? І чи можемо ми без будь-яких сумнівів сказати, що наші думки генеруються нашим мозком? Коли мова йде про технологію, слід передбачити не тільки її навмисне використання на благо, але й ненавмисне – на зло В IV столітті до н.е. Аристотель заклав основи формальної логіки. Згідно з його теорією, міркування людини будуються відповідно до законів логіки і втілюються в логічну форму. Приблизно в той самий час грецький математик Евклід вивів спосіб знаходження найбільшого спільного дільника двох цілих чисел (або спільної міри двох відрізків), фактично створивши перший алгоритм. Це лягло в основу двох найважливіших новаторських ідей про те, що: 1) певні фізичні системи здатні оперувати, підпорядковуючись логічним правилам; 2) людське мислення може бути символічною системою. Відтоді філософи, вчені й теологи намагаються знайти відповіді на такі запитання: чи є тіло людини складною машиною або єдиним цілим, яке складають сотні інших систем, що працюють злагоджено, як годинники? А свідомість – це теж найскладніша машина або щось зовсім інше?

1. З одного боку, технології штучного інтелекту несуть у собі можливість позбавити людство багатьох нерозв’язних сьогодні проблем. З іншого боку – логіка розвитку ШІ є такою, що ця сфера ризикує почати рух у небажаному для нас напрямку.

2. Прірва, що розділяє суспільство і закриту екосистему компаній, які розробляють ШІ, поглиблюється. Незважаючи на добрі наміри, «велика дев’ятка» може приймати рішення, які не відповідають інтересам людства.

3. Групи розробників компаній «великої дев’ятки» відрізняються досить високою однорідністю складу: вони мають спільні ідеали, цілі, соціальні норми і схожу поведінку. У таких колективах когнітивні похибки можуть сприйматися як очевидні істини, що не потребують критичної оцінки.

4. У переліку цінностей «великої дев’ятки» відсутній важливий елемент – у фокусі всіх робіт у сфері ШІ має бути виключно благо людства. Етичні принципи поки не стали непорушною нормою в повсякденній діяльності груп розробників.

5. Небезпечний сигнал, який вказує на те, що роботи у сфері ШІ здатні призвести до небажаних наслідків, – ставлення до ШІ як до цифрової платформи, яка може розвиватися без принципів або довгострокових планів.

Відповідно до вчення Рене Декарта, людина поєднує в собі дві субстанції, матеріальну і духовну. Духовна діяльність людини існує виключно завдяки її свідомості – здатності мислити («Я мислю – отже існую»). Декарт вважав, що, хоча створення механізованої версії людини можливе, вона ніколи не зрівняється з реальною, оскільки не матиме свідомості й, отже, душі. Кілька десятиліть потому німецький математик і філософ Готфрід Лейбніц висунув ідею про те, що людська душа запрограмована і що розум є своєрідним контейнером, а тіло являє собою складну машину, керовану божественними веліннями. Здатність мислити і сприймати є унікальними людськими властивостями, вважав він. Однак натхненний першим механічним калькулятором, який винайшов 19-літній Блез Паскаль, Лейбніц переглянув своє вчення, висунувши припущення про те, що, хоча машини не можуть мати душу, колись буде створений пристрій, який зможе логічно мислити на рівні людини. Якщо погодитися з Лейбніцем, то на Землі може бути два типи машин: «ми» – машини з душею – і «вони» – машини без душі, але здатні зрівнятися з нами за розумом.

У 1793 році французький винахідник Жак де Вокансон створив для Французької академії наук серію механічних пристроїв, серед яких найбільшу популярність набули мідні качки: вони не тільки били крилами, пурхали, клювали корм, але й мали функціонуючу систему травлення**.** А в 1797-му медик і філософ Жульєн де Ламетрі опублікував (спочатку анонімно) висновки порівняльного дослідження людей, тварин і механічних іграшок, що викликали загальне обурення. Люди мало чим відрізняються від тварин, і примат може освоїти людську мову, якщо пройде відповідний курс навчання, стверджував він. Також учений вважав, що люди і тварини є лише машинами, спонукуваними інстинктами і знаннями, що набуваються дослідним шляхом. «Людське тіло – це машина, що самостійно запускає свої пружини», – писав Ламетрі.

Справжній прорив у створенні розумних машин був зроблений у 1930-х. Тоді з’явилися дві видатні роботи: «Символічний аналіз релейних і перемикальних схем» Клода Шеннона, який вважається творцем теорії інформації, і «Про обчислювані числа» Алана Тюрінга, де 24-річний учений виклав принципи роботи універсальної обчислювальної машини, що стала предтечею сучасного персонального комп’ютера.

У 1950-му в статті, опублікованій у філософському виданні Mind, Тюрінг звернувся до питання, над яким міркували Декарт, Лейбніц та інші видатні мислителі попередніх століть. Він висунув тезу: якщо колись комп’ютер зможе відповідати на запитання так, що ми не зможемо відрізнити його від людини, можна буде однозначно стверджувати, що машина мислить.

Однією з подій, що ознаменували тріумф машинної думки, став шаховий матч, що відбувся в травні 1996 року між Гаррі Каспаровим і створеним IBM комп’ютером Deep Blue, в якому перемогу одержала машина. Але якщо в шахах реально прорахувати ймовірні кроки суперника і спрогнозувати, хто може стати переможцем, то в китайській настільній грі Го це зробити набагато складніше. Ця гра вимагає знань і якостей, якими, як завжди вважалося, може володіти тільки людина. Однак система AlphaGo, витвір компанії DeepMind, зуміла переграти провідних майстрів Го. Навчання AlphaGo проводилося за допомогою людей, у цьому процесі використовувалося 100 тис. наборів даних. Далі DeepMind створила систему нового покоління AlphaGo Zero, яка повинна була навчатися самостійно, з нуля. При цьому Zero не тільки приймала рішення, які можна запрограмувати, але і робила вибір, що вимагає винесення людських суджень. Це означало, що розробники, не усвідомлюючи цього, надали машині величезну владу. Системі знадобилося всього 70 годин, щоб досягти рівня версії AlphaGo, що перемагала найкращих гравців світу. Потім розробники дали життя вдосконаленій версії AlphaGo Zero і забезпечили її можливістю самонавчатися і змагатися з собою протягом 40 днів. Сталося дещо примітне. Машина не просто відкрила для себе знання, накопичені людьми за тисячоріччя існування Го, але і 90% часу перегравала найбільш досконалу версію AlphaGo, кожного разу використовуючи абсолютно нові стратегії. Це означало, що система як учень перевершила найвідоміших майстрів Го, а як учитель – своїх інструкторів-людей.

Як відзначає авторка, цей момент став визначальним в історії штучного інтелекту. У першу чергу, тому що система повелася непередбачено і приймала рішення, які не були повною мірою зрозумілими для її творців. А тактику, якої вона дотримувалась, перемагаючи гравців-людей, неможливо було ані відтворити, ані повноцінно пояснити. Цей факт говорить про ймовірність того, що в майбутньому системи ШІ зможуть створювати власні нейронні мережі і здобувати знання, що знаходяться за межами нашого розуміння.  Чи будуть машини служити вирішенню найважливіших проблем (наприклад, діагностувати фатальні захворювання на етапі їх зародження) або ж стануть руйнівниками нашої цивілізації? Якщо розвиток ШІ надалі буде таким самим, як зараз, то в 2069 році світ кардинально відрізнятиметься від того, яким ми б хотіли його бачити, впевнена Уебб.

Прориви в царині штучного інтелекту, за якими ми спостерігаємо останнім часом, доводять: машини здатні думати. Але при цьому, як підкреслює авторка, чимала небезпека криється в тому, що машинна думка, яка завтра відіграватиме в нашому житті величезну роль, створюється відносно вузькою групою людей. Практично всі, хто працює в сфері ШІ, належать до свого роду «племен» – однорідних за складом груп. В основному це люди, що живуть у США або Китаї (як правило, чоловічої статі). Усі вони досить багаті й освічені, є випускниками одних і тих самих університетів, приблизно однакового віку. Зв’язки, що згуртовують членів «племені», формуються, коли люди, об’єднані спільною справою, разом переживають якісь події, проходять крізь низку успіхів і невдач. Спільно пережитий досвід втілюється в спільному лексиконі, спільних ідеалах, цілях, соціальних нормах і схожій поведінці. З одного боку, це дозволяє «племенам» діяти злагоджено й ефективно, вирішуючи найскладніші завдання, з іншого боку – у них практично завжди присутній синдром групового мислення. Властиві практично всім людям когнітивні похибки (упередження або уподобання) розростаються, пускають глибоке коріння й сприймаються як очевидні істини, що не потребують критичної оцінки. Чим згуртованіший колектив, тим сильніше в ньому виражений даний синдром і тим вища імовірність того, що рішення (нехай навіть ухвалені з найкращими намірами) можуть ґрунтуватися на припущеннях, що відображають неусвідомлені когнітивні викривлення.

1. Чи спостерігається у вашій управлінській команді синдром групового мислення?

2. Які когнітивні викривленняі припущення ствердилися в групі?

3. Чи є система цінностей у вашій компанії не формальністю, а реально працюючим інструментом?

1. Створити умови, які б стимулювали членів групи висловлювати альтернативні точки зору.

2. Ввести в команду людей з іншим досвідом, освітою, світоглядом, ніж у більшості працівників.

3. Обговорити з колегами цінності компаніїй переконатися, що ви користуєтеся ними при управлінні організацією.

Історія багатьох «племен» (наприклад, стартапів, політичних і творчих течій) починалася приблизно однаково: з гаража, студентського гуртожитку або спільно орендованого житла, де велася робота над утіленням якогось задуму. А становлення «племен» творців ШІ починалося в котромусь із престижних університетів. Авторка звертає увагу на те, що вже на цьому етапі закладається односпрямованість мислення, оскільки у фокусі навчальних програм в основному знаходяться спеціальні дисципліни (нейробіологія, когнітивна психологія і т.д.). У них дуже мало обов’язкових курсів, які б давали можливість вийти за межі спеціальних знань, навчали б студентів розпізнавати когнітивні викривлення в даних і використовувати філософію в процесі прийняття рішень, прищеплювали б етику інклюзивності й показували цінність соціального різноманіття. При цьому у студентів немає стимулу розширювати кругозір, оскільки, як правило, різноплановість мислення не розцінюється як перевага на етапі відбору й не культивується в більшості компаній.

Зараз «племена» в основному займаються розробкою обмеженого штучного інтелекту – алгоритмів, що виконують окремі спеціальні завдання на рівні людини або краще. А також ведуть роботи над створенням загального штучного інтелекту – систем, які зможуть виконувати набагато ширший спектр когнітивних завдань, оскільки здатні мислити, як ми. Проте хто саме є цими «ми», чий розум стане основою для моделювання систем ШІ? Точно не звичайні люди, впевнена авторка. Системи штучного інтелекту мають розум своїх творців, відображаючи їхні цінності, ідеали і світогляд.

Розробка будь-якої складної технології вимагає експериментування і неминуче супроводжується невдачами. Але, як відзначає Уебб, стурбованість викликає те, що це стає ідеологією, яку сповідує «велика дев’ятка». «Спочатку робимо, потім просимо вибачення», – так можна описати її суть. Але чи не занадто часто цим компаніям доводиться просити вибачення? Як, наприклад, Facebook за наслідки своєї співпраці з Cambridge Analytica, коли відбувся наймасштабніший в історії витік персональних користувацьких даних і постраждали близько 50 млн. користувачів? Як з’ясувалося, керівники прийняли рішення не інформувати про це людей відразу ж після події. Траплялися тисячі інцидентів, коли безпілотні автомобілі, що їдуть на зелене світло, на смерть збивали пішоходів або коли безневинні люди опинялися у в’язниці через помилки, зроблені системою ШІ. Постаєпитання: наскільки етичними є системи штучного інтелекту? Чи замислюємося ми про те, що наші персональні дані використовуються в процесі навчання машин? Як творці ШІ знаходять баланс між комерціалізацією систем і базовими речами на кшталт потреби людини в приватності, безпеці, повазі й самореалізації? Чи закладають в машини здатність до співчуття? Відповіді на ці запитання повинна давати система цінностей компанії, яка впливає на організаційну культуру, визначає управлінський стиль і відіграє важливу роль у процесі прийняття рішень на усіх рівнях. Чи є така у «великої дев’ятки»? Авторка вважає, що цінності й операційні принципи «великої дев’ятки» в цілому схожі. Це безперервне професійне вдосконалення, створення продуктів, що становлять безумовну цінність для клієнтів, генерування прибутку для акціонерів. Кожна з цих компаній проголошує цінність довіри. Однак ці цінності не є винятковими – фактично вони аналогічні цінностям інших американських фірм.

У переліку цінностей «великої дев’ятки» відсутній критично значущий елемент – чітко сформульована заява про те, що фокусом робіт у сфері ШІ є виключно благо людства. Це повинно бути сформульовано так, щоб не залишалося жодного місця для різночитань, і відображатися у всіх документах компаній, а також в усьому, що в них відбувається (згадуватися під час нарад керівників усіх рівнів, на зустрічах команд, у ході спілкування з клієнтами тощо). Емі Уебб нагадує про те, що під час написання книги гендиректор Google Сундар Пічаї оголосив про розробку нового переліку керівних принципів для робіт у сфері ШІ, які, однак, усе ще досить далекі від визначення блага людства як головної мети цієї діяльності.

Одним із головних приводів до створення цього документа стало невдоволення персоналу участю Google у проекті Maven (у його рамках компанія разом з Пентагоном розробляє алгоритми комп’ютерного зору для аналізу відеозаписів з дронів). Google взяла на себе зобов’язання не створювати військові технології, здатні завдати людям шкоди. Проте, як відзначає авторка, серед цих принципів немає тих, які б стосувалися питання прозорості в тому, як системи ШІ приймають рішення та які набори даних використовують.

«Велика дев’ятка» приділяє питанням етики велику увагу. Наприклад, Facebook після скандалу з Cambridge Analytica сформувала спеціальну команду, що розробляє ПЗ, покликане забезпечити відсутність когнітивних похибок у своїх системах ШІ; IBM регулярно публікує матеріали про етику в штучному інтелекті. Однак Емі Уебб пише про те, що етичні принципи поки не стали непорушною нормою в повсякденній роботі груп, які розробляють системи ШІ.

«Велика дев’ятка» використовує все більші обсяги наших даних, створюючи продукти, що мають високу комерційну цінність. Цикли розробки прискорюються, оскільки цього вимагають інвестори. Ми ж є мимовільними учасниками процесу побудови майбутнього, що відбувається поспіхом, без попереднього осмислення наведених вище запитань. Чим далі просуватимуться системи ШІ у своїй еволюції та чим більша частина повсякденного життя буде автоматизована, тим менше ми зможемо впливати на рішення, які приймаються для нас і за нас.

Після всіх масштабних катастроф (незалежно від того, чи була це фінансова криза, стихійне лихо, теракт або техногенна катастрофа) незмінно постають питання: чому не були розпізнані перші сигнали,  що сповіщали про прийдешнє лихо? чому не було вчасно вжито заходів, які б допомогли зменшити число жертв? Емі Уебб пише про те, що вже зараз є очевидні ознаки того, що розвиток ШІ може призвести до небажаних наслідків для нашої цивілізації. На її думку, одним із найбільш значущих сигналів є ставлення до ШІ як до цифрової платформи (аналогічної інтернету), яка може розвиватися без будь-яких керуючих принципів або довгострокових планів. А також невизнання того факту, що штучний інтелект уже став суспільним благом, що повинно означати загальнодоступність і неможливість виключити з числа користувачів будь-кого.

За словами Уебб, зараз ми підійшли до початку нового етапу еволюції ШІ і більше не можемо розглядати його як цифрову платформу для діджитал-комерції, комунікацій і створення різних застосунків. Утім, ставлення до ШІ як до суспільного блага не зашкодить «великій дев’ятці» заробляти і зростати. Але необхідно змінити те, як ми сприймаємо штучний інтелект та які надії на нього покладаємо. Без цього суспільство буде позбавлене можливості повноцінно використовувати ШІ для вирішення своїх найважливіших проблем (геополітичних, соціальних, кліматичних та інших).