Даниэль Канеман
Шум: изъяны человеческого суждения
29.09.2021
рекомендует
Шум: изъяны человеческого суждения, автор Даниэль Канеман | Kyivstar Business Hub, изображение №1
A Flaw in Human Judgment

Шум: изъяны человеческого суждения

  • Издание рекомендуют авторы бестселлеров Адам Грант и Роберт Чалдини
  • Книга получила положительные отзывы от New York Times, Financial Times
  • Один из авторов книги – Нобелевский лауреат
Рекомендовано Киево-Могилянской Бизнес-Школой
Авторы
Даниэль Канеман
Olivier_Sibony
Сибони Оливье
Cass Sunstein
Санстейн Касс
Дата обзора
29 сентября 2021
Слушайте обзор
0:00 0:00

Основная идея

Ошибки в решениях, принимаемых в разных сферах, могут быть обусловлены как когнитивными искажениями (сверхуверенность, стремление избежать риска и другие), так и шумом, являющимся менее очевидным проявлением погрешностей человеческого мышления. При этом, как считают авторы, именно шум часто представляет главную проблему. Более того, его уровень часто бывает неприемлемо высоким.

В чем суть шума?

Различия между когнитивными искажениями и шумом Канеман, Сибони и Санстейн иллюстрируют на следующем примере. Представим, что четыре группы друзей (из пяти человек каждая) соревнуются в стрельбе в тире. Каждый совершает один выстрел из одной и той же винтовки.

В идеальном мире все выстрелы должны попасть точно в цель. Примерно так выглядят результаты группы 1. В группе 2 – ни одного попадания в цель, а все промахи сосредоточены в границах достаточно узкого участка, находящегося ниже цели. Так случилось потому, что все стрелки оказались подверженными когнитивному искажению – основывались на одинаковом неверном допущении. Если бы кто-то из них сделал дополнительные выстрелы, предсказать результаты было бы достаточно просто (они оказались бы примерно там же, где и предыдущие).

У группы 3 – одно попадание, промахи хаотично рассредоточены на всем пространстве вокруг мишени. Спрогнозировать результаты дополнительных выстрелов невозможно. В этом случае мы имеем дело с шумом. Группа 4 подвержена как когнитивным искажениям (выстрелы систематически не попадают в цель), так и шуму (промахи хаотичны – случайный разброс).

А теперь представим, что мы смотрим на результаты с обратной стороны, не видя саму мишень. В такой ситуации невозможно сказать, насколько близки или далеки выстрелы групп 1 и 2 от центра мишени. Зато с первого взгляда вы сможете определить, что в группах 3 и 4 присутствует шум, а в двух предыдущих его нет. В этом и состоит базовая характеристика шума: вы можете его распознать и измерить, ничего не зная ни о цели, ни о когнитивных искажениях, препятствующих попаданию.

Часто мы делаем выводы, основываясь на допущениях, правильность которых проверить невозможно. Когда руководители киностудии анализируют потенциал рынка для нового фильма, мы можем оценивать вариабельность их суждений, не зная, каковы кассовые сборы ленты (либо вышла ли она вообще). Если говорить о медицине, то особо силен шум в психи­атрии, где субъективное суждение очень важно. Но при этом значительный шум присутствует и в сферах, где его не должно быть, например, в интерпретации рентгенограмм.

Шум: изъяны человеческого суждения, автор Даниэль Канеман | Kyivstar Business Hub, изображение №2

Прогнозирование – еще одна область, печально известная сильным шумом. Эксперты прогнозируют все что угодно – продажи какого-то продукта, уровень безработицы, вероятность банкротства компаний, оказавшихся в кризисных обстоятельствах и т. д., при этом не только не соглашаясь друг с другом, но и с собой. Когда одних и тех же программистов дважды в разные дни попросили спрогнозировать сроки завершения проекта, вариабельность ответов составила 71%.

Авторы утверждают, что присутствие шума неизбежно, поскольку мы живем в сложном, непредсказуемом мире. И эта сложность проявляется в любой сфере, требующей вынесения профессиональных суждений. В принятии решений врачами, учителями, юристами, инженерами, руководителями и рекрутерами разногласия неизбежны. Однако их мнения отличаются друг от друга гораздо больше, чем мы можем представить.

Шум в системе

Заняться проблемой шума авторов побудил следующий эпизод. В качестве консультантов они сотрудничали со страховой компанией, руководители которой размышляли над тем, как добиться большей последовательности в суждениях сотрудников, принимающих важные финансовые решения. Управленцы исходили из того, что такого рода суждения не могут быть полностью последовательными, поскольку частично субъективны.

Соответственно, определенный шум в них будет всегда. Разногласия возникли, только когда вопрос коснулся силы шума. В основном руководители считали, что шум не может представлять для компании серьезной проблемы. Но при этом согласились провести простой эксперимент, который авторы назвали «аудитом шума».

В каждом из подразделений компании работают несколько высококвалифицированных андеррайтеров. Когда возникает необходимость заключения договора с клиентом, любой из них (кто сейчас свободен) может осуществлять оценку рисков и определять сумму страховых выплат.

В идеале она должна соответствовать «принципу Златовласки» – не быть ни завышенной, ни заниженной. Можно предположить, что усредненное суждение большой группы профессионалов будет достаточно близко к «величине Златовласки». Однако если сумма страховых выплат слишком высока или слишком низка, компания понесет убытки.

Если в хорошо управляемой страховой компании методом случайной выборки вы назначаете двух андеррайтеров для оценки идентичных кейсов – насколько могут разниться их суждения? Когда авторы задали этот вопрос руководителям страховой компании, то большинство оценили уровень вариабельности в 10% или менее.

Позже тот же вопрос задали 828 гендиректорам и топ-менеджерам организаций из различных сфер. И везде усредненное значение оценки вариабельности идентичных профессиональных суждений составляло 10% (второй по частоте ответ – 15%). Однако проведенный авторами аудит шума выявил гораздо более глубокие различия в суждениях – их уровень составил 55% (это означало, к примеру, что если один андеррайтер устанавливал страховую премию в размере $9 500, то другой – в $16 700). Один из руководителей компании оценил ее суммарные годовые убытки (как от завышенной, так и от заниженной стоимости контракта) в сотни миллионов долларов. Однако никто не мог сказать точно, какой должна быть «величина Златовласки».

Чтобы подчеркнуть роль случайности в выборе андеррайтера, авторы используют слово «лотерея». Но если лотерея в традиционном понимании служит определенным целям, то лотерея суждений не несет в себе ничего, кроме определенности. Ибо никто на самом деле не знает, что произойдет, если оценку кейса будет проводить этот, а не иной специалист. «Данные указывают на то, что в неприемлемо высокой степени стоимость контракта для клиента зависела от лотереи, которая определяла, какой сотрудник будет заниматься его делом», – пишут авторы.

Базовым отличием системного шума является его нежелательность. Не следует путать его с ситуациями, когда различия в суждениях не просто желательны, но и необходимы (например, несколько компаний конкурируют между собой, пытаясь предложить оптимальное решение некой проблемы). Также следует учесть, что системный шум – это проблема организаций, а не рынков.

Если трейдеры по-разному оценивают стоимость акций, кто-то из них получает прибыль, а кто-то несет убытки. Это нормально, поскольку на таких разногласиях строится рынок. Но если кого-то из трейдеров случайным образом выбирают, чтобы произвести оценку стоимости акций от имени компании, и при этом обнаруживается, что оценки, сделанные его коллегами, существенно отличаются от его собственной, это означает, что структура страдает от системного шума. Одна компания по управлению активами, стремясь определить справедливую стоимость акций, попросила 42 инвесторов независимо друг от друга провести их оценку. Все они использовали одинаковую методологию, но среднее значение уровня шума в их суждениях составило 41%.
Шум: изъяны человеческого суждения, автор Даниэль Канеман | Kyivstar Business Hub, изображение №3

В «зашумленных» системах ошибки, обусловленные вариабельностью суждений, не нивелируют, а усугубляют друг друга. «Если за совершение преступления, за которое полагается семь лет тюремного заключения, один обвиняемый получает четыре года, а другой – семь лет, то правосудие, как правило, не совершается», – отмечают авторы.

Иллюзия согласия

Как так случается, что высококвалифицированные специалисты, выполняющие одинаковые функции и работающие в одной организации, могут иметь по одному и тому же вопросу столь разное мнение, не осознавая этого? Одним из объяснений «незаметности» шума является видимость единодушия, присутствующая во многих организациях. Аудит шума, который Канеман, Сибони и Санстейн проводили в разных компаниях, последовательно указывает на то, что в организациях поддерживается иллюзия согласия. При этом многим людям непросто согласиться с тем, что кто-то может иметь иное мнение.

Часто мы начинаем верить в неоспоримость нашего мнения лишь потому, что оно опирается на то, что срабатывало в прошлом. Одна андеррайтер, делясь с авторами своим опытом превращения в «эксперта», рассказала: будучи начинающим специалистом, она в 75% случаев консультировалась со своим руководителем. Но со временем ощутила, что необходимости в этом больше нет. Психология такой динамики очевидна: нарабатывается субъективный опыт суждений, которые формулируются с возрастающей легкостью, частично потому, что схожи с суждениями, которые выносились в аналогичных случаях ранее.

Со временем, по мере того как специалистка научилась соглашаться с «предыдущей версией себя», ее уверенность в собственных заключениях возрастала. При этом она не уделила никакого внимания тому, как после завершения периода ученичества стала соглашаться с коллегами.

Иллюзия согласия – это мощная завеса, за которой скрывается шум. Но почему компании не пытаются устранить это явление? Одну из главных причин авторы видят в нежелании организаций испытывать дискомфорт, создаваемый разногласиями и конфликтами. Часто побег от конфликта является для них таким же важным, как и принятие правильного решения.

Нередко, старясь свести к минимуму количество неудачных суждений, компании проводят «разборы пролетов», где анализируют провальные решения. Как отмечают авторы, это может быть полезным обучающим инструментом, но не подходит для устранения иллюзии согласия. Идентифицировать плохие суждения гораздо легче, чем хорошие. Если ошибка по-настоящему серьезна, то специалисты легко сходятся во мнении, что она является существенным отклонением от профессиональных норм. Привлечение внимания к просчетам никак не помогает профессионалам выявить, в какой мере они не соглашаются друг с другом, проявляя внешнее единодушие мнений. А значит, не способствует устранению системного шума.

Шум, созданный случайными обстоятельствами

Наблюдая за баскетболистом, выполняющим несколько аналогичных бросков, несложно заметить, что все они отличаются друг от друга. Это зависит от множества факторов (степени усталости игрока, его эмоционального состояния, поддержки болельщиков и т. д.). Но при этом мы никогда не узнаем степени значимости каждого из этих факторов. Соответственно, вариабельность бросков является формой шума. Изменения состояния нашего организма очевидны. Однако вариабельность мышления является гораздо менее видимой.

Наверняка каждый замечал за собой, что мнение может меняться без поступления новой информации. К примеру, просмотренный накануне фильм заставил нас переживать, а сегодня кажется банальным. Вчера мы осудили поступки человека, а сейчас нам кажется, что он заслуживает снисхождения. Изменение мнения без какой-либо видимой причины проявляется и в ситуации вынесения профессиональных суждений.

Так, врачи нередко ставят разные диагнозы, если им дважды показывают историю болезни того же пациента. Когда на одном престижном конкурсе вин в США эксперты дважды продегустировали те же самые напитки, они одинаково оценили только 18% из них (в основном худшие). Авторы отмечают, что как баскетболист никогда не совершает одинаковых бросков, так и мы не всегда выносим идентичные суждения, сталкиваясь с одинаковыми фактами в двух разных ситуациях.

Часто мы делаем выводы, основываясь на допущениях, правильность которых проверить невозможно

Процесс, когда случайно выбирается андеррайтер, врач или судья для работы с каким-то кейсом, Канеман, Сибони и Санстейн назвали лотереей. Шум, вызванный случайными обстоятельствами, является, по их определению, продуктом «второй лотереи», которая выбирает момент, когда некий специалист формулирует свое суждение, а также учитывает настроение этого человека, череду предыдущих случаев, которые свежи в его памяти, а также бесчисленное число иных факторов, формирующих конкретный контекст. Если в первой лотерее логику назначения андеррайтера возможно проследить, то вторая лотерея гораздо более абстрактна. В ее случае мы можем знать только то, что некое суждение было выбрано среди огромного количества вариантов. Другими словами, созданный случайными обстоятельствами шум является вариабельностью среди невидимых для нас возможностей.

Шум: изъяны человеческого суждения, автор Даниэль Канеман | Kyivstar Business Hub, изображение №2

Можно ли контролировать фактор случайности?

Среди внешних факторов, влияющих на профессиональные суждения (хотя в идеале этого не должно быть), – стресс, настроение и погода. Солнечный свет активизирует фондовые рынки. Суды могут выносить более строгие решения, когда на улице жара. Имея большую выборку профессиональных решений, аналитики иногда могут определить, были ли они приняты под воздействием нерелевантных факторов (например, времени суток или температуры воздуха). Но, как замечают авторы, не стоит обольщаться, поскольку выявить все нежелательные внешние воздействия на суждения невозможно. Поэтому стоит сфокусироваться на механизмах минимизации шума этого типа.

Двое психологов – Эдвард Вул и Гарольд Пашлер – решили дважды задать разным людям ряд вопросов, в частности: «Какая доля аэропортов мира расположена в США?». Испытуемые не знали, что их будут спрашивать дважды. Гипотеза ученых заключалась в том, что среднее значение двух ответов будет более точным, чем каждый из них по отдельности. Полученные данные подтвердили правильность этого допущения. Первый ответ был ближе к истине, чем второй, но самое верное допущение было усредненным значением двух ответов.

Вул и Пашлер черпали вдохновение в таком явлении, как «мудрость толпы»: усреднение предположений, сделанных независимо друг от друга разными людьми, в основном повышает точность предположений. В 1907 году Френсис Гальтон, двоюродный брат Чарльза Дарвина, провел эксперимент: попросил 787 крестьян, участвующих в ярмарке, оценить вес призового быка. Ответы были далеки от истины, но их среднее значение отличалось от правильного всего на два килограмма. То есть толпа была мудра: в суждениях присутствовал шум, но не было когнитивных искажений.

Далее ученые решили выяснить, можно ли получить «эффект толпы», задав с определенным интервалом (в этом случае три недели) одинаковые вопросы одним и тем же людям и усреднив полученные значения. Оказалось, что да. Это явление Вул и Пашлер назвали «толпой внутри». Немецкие исследователи Штефан Герцог и Ральф Хертвиг провели аналогичный эксперимент, но вместо того, чтобы просто задавать еще раз тот же вопрос, они стимулировали людей сделать предположение, которое бы отличалось от первого. Для этого респонденты должны были активно осмыслить неучтенную в первый раз информацию.

Задание для участников эксперимента выглядело так: «Исходите из того, что ваша первая информация была неверна. Далее подумайте, почему это случилось. Какие предположения могли быть неверными? Почему это произошло? Что вытекает из ваших новых предположений? Первое предположение было завышено или занижено? Основываясь на новой, альтернативной перспективе, сделайте новое предположение».

Поскольку во втором случае испытуемые были вынуждены посмотреть на вопрос в новом свете, два представителя «толпы внутри» отдалились друг от друга в большей степени, чем в эксперименте Вула и Пашлера; в результате усредненное значение их ответов было еще ближе к истине.

Как группы усугубляют шум

В контексте принятия групповых решений проблема шума усугубляется еще сильнее, ведь направление движения группы еще в большей мере может определяться факторами, которые должны быть нерелевантными.

Шум: изъяны человеческого суждения, автор Даниэль Канеман | Kyivstar Business Hub, изображение №3
Одно масштабное исследование рейтингов поп-музыки показало, что в основном итоговый успех той или иной песни зависит от степени ее начальной популярности. Если в первые дни всплеска популярности не происходит, то произведение, независимо от своих художественных качеств, скорее всего, места в числе «лучших» не займет.

То же самое проявляется в совершенно иных ситуациях. Если мнение какого-то члена группы изначально получает одобрение, остальные принадлежащие к ней люди получают мощный стимул действовать так же. По словам авторов, если группы становятся на сторону неких продуктов, движений, личностей и идей, то это может происходить не из-за каких-то достоинств предмета обсуждения, а потому, что появляется фактор «ранних рейтингов».

Следует учесть, что эффект «мудрости толпы» срабатывает в ситуации, когда суждения выносят независимые друг от друга люди. А в организациях сильно выражен фактор социального влияния или даже социального давления. Авторы также напоминают, что «не все толпы мудры»: толпы могут быть сторонниками тиранов, подпитывать рыночные «пузыри», верить в магию или разделять какие-то иллюзии.

Небольшие различия между членами группы могут подстегнуть ее твердо сказать «да», а их полная гомогенность – стать причиной бескомпромиссного «нет». То есть, исходя из динамики взаимодействия в группе, уровень шума в ней может быть очень высок. «Независимо от того, говорим ли мы о шуме, присутствующем в ряде схожих групп, либо о шуме внутри одной группы, любые однозначные суждения по важным вопросам следует рассматривать только как вариант среди огромного количества возможностей», – подчеркивают Канеман, Сибони и Санстейн.

Шум в управлении

«Если есть суждение, то в нем всегда будет присутствовать шум», – отмечают авторы. А это означает, что в большей или меньшей степени шум присутствует в каждом аспекте управления организацией. И чем выше субъективная составляющая, тем его больше. Немалые нарекания с этой точки зрения вызывают системы оценки персонала.

Исследования показывают, что в аттестационных процессах присутствуют все виды шума, в том числе и шум, связанный со случайными обстоятельствами (например, настроение менеджера). Различия в оценках примерно на 30% обуславливаются вариабельностью продуктивности сотрудников, а на 70% – вариабельностью суждений менеджеров.

Связь между продуктивностью работы и оценкой является слабой или, в лучшем случае, неопределенной. Инструменты, основывающиеся на обратной связи, по мнению авторов, тоже не оправдывают ожиданий. В частности, потому что получить стабильно качественную обратную связь сложно. С компьютеризацией получают распространение детализированные опросники, которые авторы называют не просто бесполезными из-за их сложности, но и вредными. Поскольку, как отмечалось выше, четко выраженный позитивный или негативный рейтинг первых вопросов может задать соответствующий тон ответам на остальные.

Авторы считают, что теоретически способом решения проблемы может быть метод, похожий на подход Джека Уэлча из General Electric: разделение персонала по результатам аттестации на три категории. Метод «принудительного ранжирования», хотя и раскритикованный многими, способен минимизировать шум.

Канеман, Сибони и Санстейн подчеркивают, что личные ценности, творческий потенциал и индивидуальность могут быть необходимы при принятии решений (для выбора целей, выработки вариантов реагирования и т. д.), но когда дело касается вынесения суждений, особенности людей становятся источником шума.

Радикальным решением этой проблемы могут стать алгоритмы. Но, как считают авторы, пока что алгоритмы не способны заменить человеческое суждение, хотя и могут стать одним из способов его совершенствования

Скачать обзор:
kmbs
Интеллектуальный партнер проекта Digest