Стефан Томке
Экспериментирование работает: удивительная сила экспериментов в бизнесе
17.06.2020
Издательcndj: Harvard Business Review Press, Год выпуска: 2020

Экспериментирование работает: удивительная сила экспериментов в бизнесе

  • Одна из 16 бизнес-книг, которые нужно прочитать в 2020 году, по версии журнала Inc.
  • Издание рекомендует Аджай Банга, президент Mastercard
  • Книга получила хорошие отзывы The Financial Times, Publisher’s Weekly
Авторы
Стефан Томке
Дата обзора
17 июня 2020
Слушайте обзор
0:00 0:00
113

Основная идея

Инновации сегодня важны практически для каждой организации. Они помогают принимать качественные решения, создавать ценность, удерживать имеющихся клиентов и привлекать новых, получать прибыль. Бизнес-эксперименты – это то, что позволяет компаниям постоянно генерировать инновации. Стефан Томке уверен: масштабное контролируемое экспериментирование приведет к революции в ведении бизнеса и принятии управленческих решений.

Эксперимент в широком смысле

Стефан Томке более 25 лет занимается изучением науки об экспериментировании. В 2003 году он сделал прогноз: цифровые инструменты для экспериментирования способны не только радикально изменить R&D-направление во многих бизнесах, но и трансформировать целые сферы деятельности. Ведь благодаря таким инструментам экспериментировать (и, соответственно, генерировать инновации) смогут не только компании, но и клиенты. Пять лет спустя появилась App Store – платформа, где все желающие могли предложить публике разработанное ими приложение. К началу 2007 года для пользователей iOS было доступно уже свыше 2,2 млн приложений.

Некоторые менеджеры до сих пор считают, что экспериментирование – это удел только B2C-компаний, имеющих отношение к цифровой сфере. Но, во-первых, даже бизнесы без цифровых корней все чаще коммуницируют с клиентами онлайн, поэтому им нужно уметь тестировать свои гипотезы. Во-вторых, все бизнесы сегодня имеют дело с неопределенностью, и это уравнивает их: всем им нужно принимать инновационные решения и проверять их.

Слово «эксперимент» уже давно не относится только к инженерным процессам. Оно касается практически любого аспекта в работе современной организации. Возможно, это объясняется тем, что радикально расширяется сфера применения научного метода. Научный стиль мышления и действий сейчас имеет огромное влияние на мир. А он, как известно, строится на формировании гипотез и проведении экспериментов для их подтверждения.

Эксперимент – это топливо, на котором работает научный метод. Но для того, чтобы воспользоваться его преимуществами в полной мере, компании нужно инвестировать в системы, инструменты, принципы, ценности и поведение, которое помогает управленцам думать и действовать по-научному: быстро, точно, масштабно.

Автор предупреждает: несмотря на то, что инновации важны для любого бизнеса, само по себе экспериментирование не гарантирует успеха. Доля неудачных экспериментов может достигать 90% или даже больше, и это нормально. Но даже если какой-то эксперимент не принес ожидаемого результата, он как минимум помог получить полезную информацию. Компания может проанализировать: почему гипотеза не подтвердилась? в чем мы были неправы? в чем была проблема – в дизайне эксперимента, его реализации или чем-то другом?

А самый важный вопрос, ответ на который стоит дать, звучит так: чему мы сможем научиться в следующем эксперименте? Учиться не только на успехах, но и на поражениях всегда было сутью экспериментирования. Однако сегодня у нас есть инструменты, которые позволяют нам узнать гораздо больше, чем прежде. Томке описывает эту ситуацию так: масштабное экспериментирование означает, что компании систематически целуют множество лягушек, чтобы в конечном итоге найти принца.

Экспериментирование позволяет организации воспользоваться силой скоростного инкрементализма. Хоть бизнес и воспевает прорывные идеи, однако прогресс достигается путем внедрения сотен или тысяч небольших совершенствований, которые в итоге обеспечивают кумулятивный эффект. В цифровом мире небольшие изменения могут превратиться в огромную прибыль благодаря практически моментальному масштабированию. Правильно проведенное экспериментирование – ключ к такому результату.

Сила неудач

В мире бизнеса эксперименты нередко приводили не только к новым техническим решениям, но и к открытию новых рынков. Классический пример – клейкие листочки Post-it Note, созданные компанией 3М. В 1964 году химик Спенсер Сильвер начал серию экспериментов, предназначенных для создания клея на полимерной основе. Ему удалось изобрести новый вид клея, но поиск и завоевание нового рынка заняли бы как минимум пять лет.

Сильвер пытался найти своему изобретению другое применение, но у него ничего не получалось, и так было до встречи с Артуром Фраем. Тот руководил хором и замечал, что певцы часто роняли закладки, переходя от одной песни к другой. Фрай думал: «Хорошо бы, чтобы на закладке было немного клея». Эта мысль запустила новую серию экспериментов, в результате которых появились листочки, которые можно было прикреплять и снимать, не причиняя вреда поверхности.

Как показывает опыт, моменты озарения зачастую являются итогом многочисленных неудавшихся экспериментов и, как следствие, большого объема накопленных знаний. Как сказал генеральный директор Amazon Джефф Безос: «Провал и изобретение – неразделимые близнецы».

Масштабное экспериментиро-вание – это когда компании систематически целуют множество лягушек, чтобы, в конечном итоге, найти принца

Впрочем, бизнес не может полагаться на счастливые случайности, интуицию и озарения. Поэтому экспериментирование в компаниях должно подчиняться четкой дисциплине и быть подкреплено инфраструктурой. А также необходимо, чтобы в культуре организации существовало положительное отношение к экспериментам. Другими словами, проведение экспериментов должно стать для компании нормальной практикой – такой же, как отслеживание бизнес-показателей. Томке делится секретом: вероятность прорывов возрастает, если менеджеры осознают, что понимание того, что не работает, не менее важно, чем знание о том, что работает.

Любое экспериментирование, где бы и когда бы оно ни проводилось – столетие назад в научной лаборатории или сегодня в онлайн-каналах продаж, – имеет общую задачу. Оно должно генерировать знание. И с этой точки зрения не имеет особого значения, был ли результат положительным или отрицательным, – он все равно представляет собой знание и, возможно, идеи для дальнейшей работы.

Менеджеры слишком часто полагаются на свой опыт и интуицию. Однако опыт часто зависит от контекста, поэтому может оказаться бесполезным в новых условиях. На данные тоже не всегда можно опереться, особенно в инновационном процессе, ведь данные имеют свойство быстро устаревать. Оптимальный подход, по мнению автора, заключается в объединении анализа данных и бизнес-экспериментирования. В этом случае компания получает шанс на более успешное функционирование в ситуации неопределенности.

Колесо экспериментирования

Процесс бизнес-экспериментирования мож- но представить в виде колеса, состоящего из трех этапов:

1. Генерация одной или нескольких гипотез, подлежащих проверке. На этом этапе происходит пересмотр существующих данных, наблюдений, результатов предыдущих экспериментов. Путем мозгового штурма создаются и формулируются гипотезы. Команда разрабатывает набор экспериментов, которые позволяют протестировать гипотезы с использованием измеримых показателей. На этом этапе важнее всего – сила гипотезы: она должна быть проверяема и измерима.

2. Проведение экспериментов. На этой стадии команда создает модели (физические или виртуальные), которые необходимы для проведения эксперимента. Модель может принимать различную форму: от конкретных объектов (скажем, фигурка машины из пластилина) или макетов до симуляторов (к примеру, математическая модель работы двигателя) и ролевых игр (например, модель сервисного взаимодействия). Цель – получить представление о том, что тестируется, и собрать обратную связь. Эксперимент может проводиться на компьютере, в лабораторных условиях, в реальных обстоятельствах и т.д.

3. Анализ результата и извлечение инсайтов. На последнем этапе экспериментаторы анализируют полученные данные и подстраивают свои предыдущие представления под новую информацию. Именно здесь происходит основная часть обучения и формируется основа для следующего раунда экспериментов. Возможно, полученные данные будут означать, что гипотеза не подтвердилась, и тогда экспериментатору нужно продолжить поиск. Если гипотеза будет доказана, то процесс эксперимента будет считаться завершенным. А если она окажется частично подтверждена, возможно, потребуется еще одна итерация после модификации условий эксперимента.

Советы для экспериментаторов

Томке предлагает следующий набор рекомендаций для компаний, которые хотят проводить множество экспериментов быстро и качественно:

  • Начинать с низкой точности. Например, считается нормальным использовать упрощенные модели. Это позволяет сэкономить средства на начальном этапе, когда еще непонятно, перспективна ли новая разработка, и быстро получить обратную связь. Конечно, упрощенные модели могут давать ошибочный результат (причем как положительный, так и отрицательный). Поэтому компаниям нужно помнить о последовательном увеличении точности экспериментов, а не останавливаться на первой итерации.

  • Максимально использовать потенциал дешевых экспериментов. Общая тенденция такова: компании, которым тестирование гипотез обходится дорого, сильно сопротивляются проверке новых идей. На помощь приходят современные технологии: часто компьютерная симуляция позволяет получить немало ценной информации, а обходится в несколько раз дешевле, чем проверка в реальных условиях.
  • Фокусироваться на быстрой обратной связи. Обучение максимально эффективно, когда сопровождается немедленной обратной связью. То же самое справедливо для экспериментирования.
  • Увеличивать мощность экспериментирования. Часто добавление 5% ресурса или обратной связи позволяет инновационному процессу ускориться на 50%.
  • Проводить параллельные эксперименты. Лидирующие онлайн-компании проводят сотни экспериментов одновременно, к примеру, LinkedIn – между 500 и 1000, в зависимости от момента. Booking.com проводит более тысячи параллельных экспериментов на своих сайтах, серверах и в приложениях ежедневно. Однако нужно осознавать и недостаток одновременных экспериментов: они не дают возможности учиться между итерациями. Поэтому компании нужно осознавать, что для нее важнее, скорость (параллельные эксперименты позволяют прийти к результату быстрее) или более полное обучение.

Качество эксперимента

Компании делают немало ошибок в экспериментировании. Например, часто проверки новых инициатив проводятся слишком неформально, без привлечения научных или статистических методов. Из-за этого полученные данные можно неправильно интерпретировать и в итоге принять неверное управленческое решение. Чтобы гарантировать качественный эксперимент, компании необходимо найти ответы на несколько вопросов:

  1. Есть ли у эксперимента гипотеза, которую можно проверить? Эксперимент стоит проводить, только если менеджеры четко понимают, что они хотят узнать и как измерят результат. И даже в этом случае проверка гипотезы – не единственный способ получить желаемое.
    Качество эксперимента в значительной степени определяется качеством гипотезы. Хорошая гипотеза часто рождается из клиентского инсайта (скажем, на фокус-группе), из аналитики (например, кто-то заметил повторяющийся паттерн в данных от клиентской поддержки) или даже из интуиции.
    Переменные в гипотезе должны означать вероятные причину и следствие. А проверка гипотезы должна осуществляться в ходе воспроизводимого эксперимента. Кроме того, должна существовать четкая связь между гипотезой и ее влиянием на бизнес. Пример качественно сформулированной гипотезы: если открывать магазины на час раньше, то это никак не отра­зится на дневных продажах.
  1. Готовы ли экспериментаторы принять результат, каким бы он ни был? Еще до старта эксперимента участникам нужно договориться, что при любом исходе они примут во внимание полученные данные. Даже если это будет означать отказ от проекта, который казался перспективным.
  2. Выполним ли эксперимент? Даже если ваша гипотеза очень хороша, это не гарантирует, что вы сможете ее проверить. Иногда среда, в которой существует компания, настолько изменчива, что в ней практически невозможно установить причинно-следственные связи между переменными.

4. Как мы проверим, что результатам можно доверять? Существуют специальные методы, которые могут повысить надежность результатов. Например, рандомизация и слепое тестирование. Также сбор больших данных и качественно проведенный их анализ повышают вероятность получить выводы, соответствующие действительности.

5. Понимаем ли мы, что является причиной, а что следствием? Установить корреляцию – вовсе недостаточно, чтобы сделать правильный вывод. Иногда у двух переменных, между которыми обнаружена корреляция, есть одна общая причина. А иногда корреляция – это просто случайность.

6. Получили ли мы максимальную ценность от эксперимента? Чтобы в этом убедиться, нужно рассмотреть, как результаты эксперимента (то есть внедрение тестируемой инновации) могут повлиять на клиентов и рынок. Многие компании обнаруживают, что провести эксперимент – это только сделать первый шаг. Основная ценность возникает позже, когда мы анализируем полученные данные и используем их. К примеру, сеть супермаркетов Publix в прошлом тратила 80% времени, отведенного на эксперимент, на сбор данных и только 20% – на их анализ. А сейчас работает над тем, чтобы перевернуть эту пропорцию.

7. Действительно ли мы учитываем эксперименты в принятии решений? Разумеется, не все управленческие решения должны базироваться на результатах экспериментов. Но если то, что могло быть проверено, уже проверено, то это обязательно должны использовать менеджеры. Именно так поступает Netflix, создавшая сложную инфраструктуру для масштабного экспериментирования и анализирующая получаемые данные, прежде чем принимать решения.

Культурный вопрос

Для успешных инноваций компании необходимо выстроить культуру, которая приветствует масштабное экспериментирование даже в условиях жестко ограниченного бюджета. Необходимы команды, которые будут постоянно задаваться вопросом: «А что, если?» Без этого даже самая продвинутая система и самые дорогостоящие инструменты не обеспечат качественного результата экспериментирования.

Такая культура должна обладать несколькими атрибутами, в том числе мышлением, ориентированным на обучение. Даже в компаниях, подобных Google, успехом заканчиваются только 10–20% онлайн-экспериментов, но это не рассматривается как катастрофа. Ранние неудачи – это позитивное, даже необходимое, явление. В конце концов, зачастую низкий процент неудач говорит лишь о том, что сотрудники боятся рисковать и всячески сопротивляются новому. Неудача в эксперименте вовсе не означает, что вы совершили ошибку, потому что ошибка – это то, что не дает полезной информации или дает ее слишком мало.

Еще одной важной частью подобной культуры является отношение к сюрпризам. Там, где их ценят, уважают креативность и любознательность. Если сотрудники находятся в поиске сюрпризов – как в виде исходной точки, так и в виде результата экспериментов, – компания получает большое преимущество.

Для выстраивания культуры экспериментирования в организации необходима поддержка лидера-управленца. Недостаточно поручить это группе энтузиастов или какому-то отдельному департаменту: так ничего не получится. Высшему руководству придется возглавить и поддержать новое направление: не только поставить задачу и позаботиться о налаживании соответствующих систем и инструментов, но и самому стать носителем культуры экспериментирования. И хотя это может потребовать немалых усилий, Томке уверен: за бизнес-экспериментированием – будущее

Скачать обзор:
113
kmbs
Интеллектуальный партнер проекта Digest