Эми Уэбб
Большая девятка: как IT-гиганты и их разумные машины могут изменить человечество
04.11.2019
рекомендует
Издатель: PublicAffairs, Год выпуска: 2019

Большая девятка: как IT-гиганты и их разумные машины могут изменить человечество

Рейтинги: 

  • Книгу рекомендует Питер Шварц, старший вице-президент Salesforce.com
  • Издание получило положительные отзывы от Wired, Science News, InsideHigherEd
  • Книгу советует к прочтению преподаватель Стэнфордского университета Анджа Мануэль

Об авторе:

Эми Уэбб – футуролог, основательница института Future Today, профессор Нью-Йоркского университета, автор книги «О чем говорят сигналы» (The Signals Are Talking)

Рекомендовано Киево-Могилянской Бизнес-Школой
Авторы
Эми Уэбб
Дата обзора
04 ноября 2019
Слушайте обзор
0:00 0:00
588

Основная идея:

Нам хочется думать, что мы в полной мере контролируем процесс развития искусственного интеллекта (ИИ), закрывая глаза на очевидное. А именно на то, что крупнейшие технологические компании ускоренными темпами создают будущее, руководствуясь финансовыми или идеологическими стимулами, не уделяя должного внимания этическим принципам. И если логика развития ИИ будет оставаться такой же, как сейчас, то грядущее будет вовсе не таким, в каком желало бы оказаться человечество.

Между добром и злом

Искусственный интеллект утверждается постепенно, видоизменяя деятельность различных сфер и проникая в наш быт. Но является ли глубина происходящих сдвигов очевидной для нас? Автор уверена, что мы находимся в водовороте знаменательной трансформации и в этом схожи с поколениями, жившими в эпоху промышленной революции. Если соизмерять темпы происходивших в XVIII–XIX веках изменений со сроком человеческой жизни, то они были постепенными и поэтому оставались незаметными для живших в ту эпоху поколений. Но к моменту завершения промышленной революции мир был совершенно иным.

Каким же будет мир после новой революции машин? Задумываемся ли мы об этом? Футурологи часто склоняются к двум крайностям, представляя утопичные или апокалиптичные картины. Если же говорить об обществе в целом, то более чем когда-либо ранее в нем проявляется склонность мыслить категориями ближайших нескольких лет, что практически означает неспособность взять на себя ответственность за долгосрочные последствия последних технологических достижений.

Между тем «большая девятка» (а это три китайские компании — Baidu, Alibaba, Tencent — и шесть американских — Google, Microsoft, Amazon, Facebook, IBM, Apple) работают над созданием будущего для всех нас, используя потенциал ИИ и достигая впечатляющих прорывов. Поможет ли искусственный интеллект воплотить картины идеального будущего? Если исходить из того, что его творцами движут исключительно альтруистические соображения, то это возможно. Однако, как известно, преследуя даже самые благородные цели, люди неумышленно могут совершать большое зло. В случае компаний – ситуация аналогичная. Поэтому, как замечает Уэбб, «когда вопрос касается технологии (и, в первую очередь, ИИ), следует предусмотреть не только ее намеренное использование во благо, но и ненамеренное – во зло.

Если на первых этапах развития ИИ суть этой технология была достаточно очевидной, то постепенно она будет становиться более закрытой для нас, сосредотачивая в себе все большую власть. По словам автора, люди быстро утрачивают осознание происходящего, в то время как машины пробуждаются. С каждой новой вехой развития ИИ становится все более невидимым для нас. То, как собираются и используются наши данные, становится менее очевидным, а наша способность понимать то, как функционируют автономные системы, ослабевает.

Таким образом, разрыв между обществом и экосистемой ИИ, состоящей из относительно узкого круга игроков, углубляется. Человечество приближается к экзистенциальному кризису, поскольку никто не уделяет внимания простому, но основополагающему вопросу: что произойдет с обществом, если мы передадим власть системе, которую небольшая группа людей создала для того, чтобы она принимала решения, касающиеся всех? Что будет происходить, когда рычагами развития ИИ будут рынок и потребительство (в США) или амбиции мощной политической силы (в Китае)?

Уэбб считает, что человечеству нужны действия, направленные на то, чтобы максимально сократить пропасть между обществом и теми, кто определяет ход развития технологий. Для этого, в первую очередь, необходимо демократизировать дискурс, который ведется вокруг ИИ.

Каждый человек, живущий сегодня на Земле, может сыграть критически важную роль в будущем искусственного интеллекта. Необходимо осознать, что принимаемые сегодня решения относительно ИИ, даже кажущиеся малозначимыми, станут определяющими для будущего цивилизации. С пробуждением машин мы можем оказаться в реальности, которая, вопреки нашим надеждам и лучшим побуждениям, станет катастрофой для человечества.

Призраки в машине

По своей сути искусственный интеллект – это система, способная принимать самостоятельные решения. Но что означает понятие разумности, когда речь идет о машине? Если голосовой помощник Alexa помогает нам выбрать еду в ресторане, означает ли это разумность? И может ли мыслящее устройство сравниться по разуму с человеком либо превзойти нас? Поиск ответа на этот вопрос влечет за собой серию иных. Могут ли машины думать? Что означает думать для машины и что это означает для нас? Что есть мысль? И можем ли мы безо всяких сомнений сказать, что наши мысли генерируются нашим мозгом?

В IV веке до н.э. Аристотель заложил основы формальной логики. Согласно его теории, рассуждения человека строятся в соответствии с законами логики и облекаются в логическую форму. Примерно в то же время греческий математик Евклид вывел способ нахождения наибольшего общего делителя двух целых чисел (или общей меры двух отрезков), создав, по сути, первый алгоритм. Это легло в основу двух важнейших новаторских идей о том, что: 1) определенные физические системы способны оперировать, подчиняясь логическим правилам; 2) человеческое мышление может быть символической системой. С того времени философы, ученые и теологи ведут изыскания, пытаясь найти ответы на следующие вопросы: является ли тело человека сложной машиной или единым целым, которое составляют сотни иных систем, работающих слаженно, как часы? А сознание – это тоже сложнейшая машина или нечто совершенно иное?

Пять основных мыслей

1. С одной стороны, технологии искусственного интеллекта несут в себе возможность избавить человечество от многих неразрешимых сегодня проблем. С другой – логика развития ИИ такова, что ход событий в этой сфере может принять нежелательный для нас оборот.

2. Пропасть, разделяющая общество и закрытую экосистему компаний, разрабатывающих ИИ, углубляется. Несмотря на лучшие намерения, «большая девятка» может принимать решения, не отвечающие интересам человечества.

3. Группы разработчиков компаний «большой девятки» отличаются достаточно высокой однородностью состава, что воплощается в общих идеалах, целях, социальных нормах и схожей линии поведения. В таких коллективах когнитивные погрешности могут восприниматься как очевидные истины, не требующие критической оценки.

4. В перечне ценностей «большой девятки» отсутствует важный элемент – фокус всех работ в сфере ИИ исключительно на благе человечества. Этические принципы пока не стали незыблемой нормой в повседневной работе групп разработчиков.

5. Опасный сигнал, указывающий на то, что работы в сфере ИИ способны привести к нежелательным последствиям, – отношение к ИИ как к цифровой платформе, которая может развиваться без каких-либо принципов или долгосрочных планов.

Согласно учению Рене Декарта, человек совмещает в себе две субстанции, материальную и духовную. Духовная деятельность человека существует исключительно благодаря его сознанию – способности мыслить («Я мыслю – значит существую»). Декарт считал, что, хотя создание механизированной версии человека возможно, она никогда не сравнится с реальной, поскольку не будет иметь сознания и, следовательно, души.

Несколько десятилетий спустя немецкий математик и философ Готфрид Лейбниц выдвинул идею о том, что человеческая душа запрограммирована и что разум является своего рода контейнером, а тело представляет собой сложную машину, управляемую божественными повелениями. Способность мыслить и воспринимать являются уникальными человеческими свойствами, считал он. Однако вдохновленный первым механическим калькулятором, который изобрел 19-летний Блез Паскаль, Лейбниц пересмотрел свое учение, выдвинув предположение о том, что, хотя машины не могут обладать душой, когда-то будет создано устройство, которое сможет логически мыслить на уровне человека. Если согласиться с Лейбницем, то на Земле может быть два типа машин: «мы» – машины с душой – и «они» – машины без души, но способные сравняться с нами по разуму.

Когда речь идет о технологии, следует предусмотреть не только ее намеренное использование во благо, но и ненамеренное – во зло

В 1793 году французский изобретатель Жак де Вокансон создал для Французской академии наук серию механических устройств, среди которых наибольшую известность приобрели медные утки: они не только били крыльями, порхали, клевали корм, но и имели функционирующую систему пищеваренияА в 1797-м медик и философ Жюльен де Ламетри опубликовал (сначала анонимно) выводы сравнительного исследования людей, животных и механических игрушек, вызвавшие всеобщее возмущение. Люди мало чем отличаются от животных, и примат может освоить человеческий язык, если пройдет соответствующий курс обучения, утверждал он. Также ученый считал, что люди и животные являются всего-навсего машинами, движимыми инстинктами и знаниями, приобретаемыми опытным путем. «Человеческое тело – это машина, самостоятельно запускающая свои пружины», – писал Ламетри.

Настоящий прорыв в создании разумных машин был совершен в 1930-х. Тогда появились две знаковые работы: «Символический анализ релейных и переключательных схем» Клода Шеннона, который считается творцом теории информации, и «О вычисляемых числах» Алана Тьюринга, где 24-летний ученый изложил принципы устройства универсальной вычислительной машины, ставшей предтечей современного персонального компьютера.

В 1950-м в статье, опубликованной в философском издании Mind, Тьюринг обратился к вопросу, над которым размышляли Декарт, Лейбниц и иные выдающиеся мыслители предыдущих столетий. Он выдвинул тезис: если когда-либо компьютер сможет отвечать на вопросы так, что мы не сможем отличить его от человека, можно будет однозначно утверждать, что машина мыслит.

В мире может быть два типа машин: «мы», машины с душой, и «они» – машины без души, но способные сравняться с нами по разуму

Одним из событий, ознаменовавших триумф машинной мысли, стал состоявшийся в мае 1996 года шахматный матч между Гарри Каспаровым и созданным IBM компьютером Deep Blue, в котором победу одержала машина. Но если в шахматах реально просчитать вероятные шаги соперника и спрогнозировать, кто может стать победителем, то в китайской настольной игре Го это сделать гораздо сложнее. Эта игра требует задействования знаний и качеств, которыми, как всегда считалось, может владеть только человек. Однако система AlphaGo, творение компании DeepMind, сумела переиграть ведущих мастеров Го.

Обучение AlphaGo проводилось с помощью людей, в этом процессе использовалось 100 тыс. наборов данных. Далее DeepMind создала систему нового поколения AlphaGo Zero, которая должна была обучаться самостоятельно, с нуля. При этом Zero не только принимала решения, которые можно запрограммировать, но и совершала выборы, требующие вынесения человеческих суждений. Это означало, что разработчики, не осознавая этого, дали машине огромную власть.

Системе понадобилось всего 70 часов, чтобы достичь уровня версии AlphaGo, побеждавшей лучших игроков мира. Затем разработчики дали жизнь усовершенствованной версии AlphaGo Zero и предоставили ей возможность самообучаться и соревноваться с собой в течение 40 дней. Произошло нечто примечательное. Машина не просто открыла для себя знания, накопленные людьми за тысячелетия существования Го, но и 90% времени переигрывала самую совершенную версию AlphaGo, всякий раз используя абсолютно новые стратегии. Это означало, что система как ученик превзошла самых именитых мастеров Го, а как учитель – своих инструкторов-людей.

voprosy

Как отмечает автор, этот момент стал определяющим в истории искусственного интеллекта. В первую очередь, потому, что система повела себя непредсказуемо и принимала решения, которые не были в полной мере понятны ее творцам. А тактику, которой она следовала, одерживая победу над игроками-людьми, невозможно было ни воспроизвести, ни полноценно объяснить. Этот факт говорит о вероятности того, что в будущем системы ИИ смогут создавать собственные нейронные сети и приобретать знания, находящиеся за пределами нашего понимания. Будут ли машины служить решению важнейших проблем (например, диагностировать фатальные заболевания на этапе их зарождения) или же станут разрушителями нашей цивилизации? Если ход развития ИИ в дальнейшем будет таким же, как сейчас, то в 2069 году мир будет кардинально отличаться от того, каким мы бы хотели его видеть, уверена Уэбб.

Создатели искусственного разума

Прорывы на поприще развития искусственного интеллекта, за которыми мы наблюдаем в последнее время, показывают: машины способны думать. Но при этом, как подчеркивает автор, немалая опасность таится в том, что машинная мысль, которая завтра будет играть в нашей жизни огромную роль, создается относительно узкой группой людей.

В будущем системы ИИ смогут создавать собственные нейронные сети и приобретать знания, находящиеся за пределами нашего понимания

Практически все, кто работает в сфере ИИ, принадлежат к своего рода «племенам» – достаточно однородным по составу группам. В основном это люди, живущие в США или Китае (как правило, лица мужского пола). Все они достаточно богаты и образованны, являются выпускниками одних и тех же университетов, примерно одинакового возраста. Узы, сплачивающие членов «племени», формируются, когда люди, объединенные общим делом, вместе переживают какие-то события, проходят сквозь череду успехов и неудач. Совместно пережитый опыт воплощается в общем лексиконе, общих идеалах, целях, разделяемых социальных нормах и схожей линии поведения.

С одной стороны, это позволяет «племенам» действовать слаженно и эффективно, решая сложнейшие задачи, с другой – в них практически всегда присутствует синдром группового мышления. То есть присущие практически всем людям когнитивные погрешности (предубеждения или предпочтения) разрастаются, пускают глубокие корни и воспринимаются как очевидные истины, не требующие критической оценки. Чем более сплоченный коллектив, тем сильнее в нем выражен данный синдром и тем выше вероятность того, что решения (пусть даже принимаемые с наилучшими намерениями) могут основываться на допущениях, отражающих неосознанные когнитивные искажения.

Стоит задуматься

1. Наблюдается ли в вашей управленческой команде синдром группового мышления?

2. Какие когнитивные искажения и допущения утвердились в группе?

3. Является ли система ценностей в вашей компании не формальностью, а реально работающим инструментом?

 

Следует сделать

1. Создать условия, которые бы стимулировали членов группы высказывать альтернативные точки зрения.

2. Ввести в команду людей с иным опытом, образованием, мировоззрением, чем у большинства сотрудников.

3. Обсудить с коллегами ценности компании и убедиться, что вы пользуетесь ими при управлении организацией.

История многих «племен» (например, стартапов, политических и творческих течений) начиналась примерно одинаково: с гаража, студенческого общежития или совместно арендуемого жилья, где велась работа над воплощением какого-либо замысла. А становление «племен» создателей ИИ начиналось в каком-либо из престижных университетов. Автор обращает внимание на то, что уже на этом этапе закладывается определенная однонаправленность мышления, поскольку в фокусе учебных программ в основном находятся специальные дисциплины (нейробиология, когнитивная психология и т.д.). В них очень мало обязательных курсов, которые бы давали возможность выйти за пределы специальных знаний, учили бы студентов распознавать когнитивные искажения в наборах данных и использовать философию в процессе принятия решений, прививали бы этику инклюзивности и показывали ценность социального многообразия. При этом у студентов нет стимула расширять кругозор, поскольку, как правило, бóльшая разноплановость мышления не расценивается как преимущество на этапе отбора и не культивируется в большинстве компаний.

В будущем системы ИИ смогут создавать собственные нейронные сети и приобретать знания, находящиеся за пределами нашего понимания

Сейчас «племена» в основном занимаются разработкой ограниченного искусственного интеллекта – алгоритмов, выполняющих отдельные специальные задачи на уровне человека или лучше. А также ведут работы над созданием общего искусственного интеллекта – систем, которые смогут выполнять гораздо более широкий спектр когнитивных задач, являясь машинами, способными думать, как мы. Однако кто именно является этим «мы», чей разум станет основой для моделирования систем ИИ? Точно не обычные люди, уверена автор. Системы искусственного интеллекта обладают разумом своих создателей, отражая их ценности, идеалы и мировоззрение.

Ценностный алгоритм

Разработка любой сложной технологии требует экспериментирования и неизбежно сопровождается неудачами. Но, как отмечает Уэбб, обеспокоенность вызывает то, что это возводится в ранг идеологии, исповедуемой «большой девяткой». «Сначала делаем, затем просим прощения», – так можно выразить ее суть. Но не слишком ли часто этим компаниям приходится просить прощения? Как, например, Facebook за последствия своего сотрудничества с Cambridge Analytica, когда произошла самая масштабная в истории утечка персональных пользовательских данных и пострадали около 50 млн пользователей? Как выяснилось, руководители приняли решение не информировать об этом людей сразу же после происшествия.

Случались тысячи инцидентов, когда беспилотные автомобили, едущие на зеленый свет, насмерть сбивали пешеходов или когда невинные люди оказывались в тюрьме из-за ошибок, совершенных системой ИИ. Все это влечет за собой вопрос: насколько этичными являются системы искусственного интеллекта?

Задумываемся ли мы о том, что наши персональные данные используются в процессе обучения машин? Как создатели ИИ находят баланс между коммерциализацией систем и такими базовыми вещами, как потребность человека в приватности, безопасности, уважении и самореализации? Закладывается ли в машины способность сочувствовать и сопереживать?

Ответы на эти вопросы должна давать система ценностей компании, которая влияет на организационную культуру, определяет управленческий стиль и играет важную роль в процессе принятия решений всех уровней. Есть ли таковая у «большой девятки»? Автор считает, что ценности и операционные принципы «большой девятки» в целом схожи. Это непрерывное профессиональное совершенствование, создание продуктов, представляющих безусловную ценность для клиентов, генерирование прибыли для акционеров. Каждая из этих компаний заявляет о ценности доверия. Однако эти ценности не являются исключительными – фактически они аналогичны ценностям иных американских фирм.

history

В перечне ценностей «большой девятки» отсутствует критически значимый элемент – четко сформулированное заявление о том, что фокусом работ в сфере ИИ является исключительно благо человечества. Это должно быть сформулировано так, чтобы не оставалось никакого места для разночтений и отражаться во всех документах компаний, а также во всем, что в них происходит (упоминаться во время совещаний руководителей всех уровней, на встречах команд, в ходе общения с клиентами и т.д.).

Эми Уэбб упоминает о том, что во время написания книги гендиректор Google Сундар Пичаи заявил о разработке нового набора руководящих принципов для работ в области ИИ, которые, однако, все еще достаточно далеки от определения блага человечества как генеральной цели этой деятельности.

Разработка любой сложной технологии требует экспериментирования и неизбежно сопровождается неудачами

Одним из главных поводов к созданию этого документа стало недовольство персонала участием Google в проекте Maven (в его рамках компания совместно с Пентагоном разрабатывает алгоритмы компьютерного зрения для анализа видеозаписей с дронов). Google взяла на себя обязательство не создавать военные технологии, способные нанести людям вред. Однако, как отмечает автор, среди данных принципов нет тех, которые бы касались вопроса прозрачности в том, как системы ИИ принимают решения и какие наборы данных используют.

Вопросы к «большой девятке»

«Большая девятка» уделяет вопросам этики немалое внимание. Например, Facebook после скандала с Cambridge Analytica сформировала специальную команду, разрабатывающую ПО, призванное обеспечить отсутствие когнитивных погрешностей в своих системах ИИ; IBM регулярно публикует материалы об этике в искусственном интеллекте. Однако Эми Уэбб пишет о том, что этические принципы пока не стали незыблемой нормой в повседневной работе групп, разрабатывающих системы ИИ.

Необходимо изменить то, как мы воспринимаем искусственный интеллект и какие надежды на него возлагаем

«Большая девятка» использует наши данные все в больших объемах, создавая продукты, имеющие высокую коммерческую ценность. Циклы разработки ускоряются, поскольку этого требуют инвесторы. Мы же являемся невольными участниками процесса построения будущего, которое ведется поспешно, без предварительного осмысления приведенных выше вопросов. Чем дальше будут продвигаться системы ИИ в своей эволюции и чем большая часть повседневной жизни будет автоматизирована, тем меньше мы сможем влиять на решения, которые принимаются для нас и за нас.

После всех масштабных катастроф (независимо от того, был ли это финансовый кризис, природное бедствие, теракт или техногенная катастрофа) неизменно возникают вопросы: почему не были распознаны первые сигналы, возвещавшие о грядущей беде? почему не были своевременно предприняты меры, которые помогли бы уменьшить число жертв? Эми Уэбб пишет о том, что уже сейчас есть очевидные признаки того, что ход развития ИИ может привести к нежелательным последствиям для нашей цивилизации. По ее мнению, одним из наиболее значимых сигналов является отношение к ИИ как к цифровой платформе (аналогичной интернету), которая может развиваться без каких-либо направляющих принципов или долгосрочных планов. А также непризнание того факта, что искусственный интеллект уже стал общественным благом, что должно означать общедоступность и невозможность исключить из числа пользователей кого-либо.

По словам Уэбб, сейчас мы подошли к началу нового этапа эволюции ИИ и более не можем рассматривать его как цифровую платформу для диджитал-коммерции, коммуникаций и создания различных приложений. Впрочем, отношение к ИИ как к общественному благу не помешает «большой девятке» зарабатывать и расти. Но необходимо изменить то, как мы воспринимаем искусственный интеллект и какие надежды на него возлагаем. Без этого общество будет лишено возможности полноценно использовать ИИ для решения важнейших проблем (геополитических, социальных, климатических и прочих), которые стоят перед человечеством.

588
kmbs
Интеллектуальный партнер проекта Digest