Интернет-индустрия переживает сдвиг мышления. Вместо уверенности в том, что мы знаем, что нужно делать, мы начали осознавать, что создание продукта — это сложный процесс. Мы приняли тот факт, что наши идеи чаще терпят неудачу, чем приносят успех.

Опираться в работе на гипотезы — этот совет все чаще звучит в digital. Маркетологи переименовываются в growth hackers, менеджеры организуют работу по циклу Деминга, программисты и дизайнеры отходят от работы по т.з. — вместо этого data driven подход, а стартапы начинают свой путь c разработки MVP.

В основе этих методологий и фреймворков лежит научный подход:  «постановка гипотезы — проведение эксперимента — анализ результатов». Это неудивительно, так как создание продуктов, как и исследовательская деятельность, сфера, где высока степень неопределенности. При таком подходе работа над проектом превращается в беспрерывный процесс приобретения знаний, который начинается с формулирования гипотезы.

Гипотеза (наука) — предположение, которое не имеет достаточных подтверждений и не опровергнуто, но представляется вероятным. Это определение предлагает Википедия. Но в разработке новых продуктов, гипотезой нельзя считать любое предположение.

Чтобы с гипотезой можно было работать, она должна включать в себя следующие компоненты:

1 компонент: что изменяем?
2 компонент: на что повлияем?
3 компонент: для кого?
4 компонент: на сколько изменится?
5 компонент: сколько времени проводим эксперимент?

Если в гипотезе они не будут отображены, то интерпретация результатов может быть подвергнуться когнитивным искажениям. Например, можно посчитать причиной и следствием просто два события, прошедшие друг за другом. Или вместо поиска истины, искать подтверждения идеи.

О том, что конкретно должен из себя представлять каждый компонент поговорим и поговорим в этой статье.

1 компонент: что изменяем?

В этом компоненте описывается, какое изменение в продукте хотите протестировать. Что это будет: новый дизайн, новый функционал?

Главное не тестируйте сразу несколько изменений, руководствуйтесь правилом: «1 идея = 1 гипотеза». В ином случае, не получится проверить, какое конкретно изменение повлияло на метрики.

Но даже если ограничится одной идеей, она может быть слишком большой и сложной. Постарайтесь её конкретизировать.

Для этого опишите user flow, в котором планируется изменение. Проследите, что изменение повлияет только на один шаг в одном пользовательском сценарии.

Например:

«Пользователь, для того чтобы купить товар, нажимает на кнопку. В тесте поменяем цвет кнопки с жёлтой на зелёную. Ожидаем, что увеличится конверсия в продажу».

Антипример:

«Пользователь, для того чтобы купить товар, должен будет нажимать на сердечко в правом углу и переходить в wish list. И уже там совершает покупку».

Второй вариант полностью меняет пользовательский сценарий. Не ясно, что конкретно будет влиять на конверсию, так как мы совершаем несколько изменений.

Итого: в гипотезе должно быть описано, что меняем. В 1 гипотезе - 1 изменение.

Предлагаем потренироваться. Найдите, какой из трёх вариантов можно использовать как 1 компонент гипотезы.

  1. Сделать полный редизайн главной страницы.
  2. Изменить аудиторию в таргетированной рекламе.
  3. Переделать приложение для знакомств в сервис для поиска работы.

2 компонент: на что повлияем?

1 компонент описывает изменение, второй — его воздействие.

Ожидаемое воздействие должно быть конкретным и измеримым:

  • На что повлияет внесенное изменение? На конверсию, время отклика, на рост аудитории?
  • Как узнаем, что изменение прошло успешно?

Например, мы решили протестировать изменение формы сбора заявок. Мы предполагаем, что это повлияет на удобство использования. «Удобство использования» — это широкое понятие, поэтому оно не подходит для включения в гипотезу, нужно его конкретизировать. Какие метрики его могут характеризовать? Время заполнения, показатель отказов и т.д. Вот их мы можем включать в гипотезу. Для каждого воздействия создается отдельная гипотеза.

Таким образом, начало гипотез будет звучать так: «Если мы изменим форму сбора заявок, уменьшится время её заполнения...». «Если мы изменим форму сбора заявок, снизится показатель отказов...».


Поможем составить гипотезы и спроектировать MVP.
Оставьте заявку на нашем сайте.
Мы проконсультируем по вашему проекту.


3 компонент: для кого?

Третий компонент в правильно составленной гипотезе — аудитория, явное обозначение на кого повлияет изменение. Часто об этом не задумываются или считают, что изменение коснется всех пользователей. Так думать неверно, поскольку в таком случае результаты не будут отражать реальную картину.

Разберем на примере. Для того чтобы увеличить число подписчиков в email-рассылке, решили показывать поп-ап с предложением подписаться, пользователям покидающим блог. Баннер увидело 50 человек, подписался 1. Получается конверсия 2%. Но проблема в том, что у блога есть постоянные читатели, которые уже подписаны на рассылку. Предположим, 45 человек уже подписчики и по этой причине говорят «нет». То есть получается 1 человек не из 50, а из 5 неподписанных, соглашается на рассылку. Реальная конверсия в подписку не 2%, а 20%. Как видите, разница в результатах тестирования с учетом аудитории и без — существенная. Таким образом, определение аудитории над которой вы проводите тестирование является важным фактором для получения точных результатов.

4 компонент гипотезы: на сколько изменится?


Четвертый компонент описывает, какой результат ожидаем получить. Для этого укажите в гипотезе, какое влияние, окажет изменение.

Например, если предполагаете, что изменение увеличит конверсию, необходимо прикинуть насколько. Гипотеза будет звучать так: «Изменение увеличит конверсию с x% до y%». Где x — текущий коэффициент конверсии, а y — ожидаемый результат после внесения изменений.

Сделать предположение нужно по двум причинам:

  1. Ожидаемое значение поможет оценить успешен результат или нет.

Например, ваше ожидание — увеличение конверсии с 2% до 10 %, а в результате получили 9%. Если нет четкой черты, то можно интерпретировать, что 9 — это тоже хороший результат. И 8 хороший результат, и вообще, любой  выше двух.

2.Ожидаемый результат поможет определить длительность проведения эксперимента.

Увеличить до 10% за неделю и за месяц это разные результаты. Подробнее об обозначении срока проведения эксперимента поговорим в следующем пункте.

5 компонент: какой срок?

Ещё одна ошибка при проверки гипотез: устанавливать срок проведения эксперимента «из головы», заканчивать тогда, когда получили желаемое значение метрик.

Но можно ли доверять этому результату?

Чтобы можно было полагаться на результат, он должен быть статистически значимым.

Статистическая значимость — это способ математически доказать,  что зависимости между изменениями и результатами действительно существуют.

Пока статистическая значимость не станет равной 95-99%, прекращать проверять гипотезу нельзя.

Рассчитать длительность эксперимента для получения статистически значимых результатов можно в этом калькуляторе.

Составляем гипотезу из компонентов

В прошлых пунктах мы разобрали 5 компонентов хорошей гипотезы.

Теперь соберем их вместе. Шаблон будет строится таким образом:

«Что изменяем + на что повлияет + для какой аудитории + насколько изменится + за какое время»

Дизайн X (изменение) увеличит конверсию лендинга (влияние) с трафика с контекстной рекламы ( для кого) на 10% (насколько) через 7 дней (сколько времени).

Теперь попробуйте составить свою гипотезу. А после, для проверки — разбейте ее на пять компонентов.

Например:

Новая тема для письма увеличит открываемость на 15% для подписчиков ежедневного дайджеста на 15% через 3 дня

  • Изменить: тему письма
  • Влияние: повысит открываемость.
  • Кто: подписчики ежедневного дайджеста
  • Насколько: на 15%
  • Через какое время: Через 3 дня

Таким образом у вас получилось правильно составить гипотезу.

Такая формулировка гипотезы позволит поставить нужный эксперимент и верно интерпретировать полученные данные. А, значит, приобрести новые знания и сделать продукт еще лучше.

Вдохновлялись

  1. The 5 Components of a Good Hypothesis

2 .How to Implement Hypothesis-Driven Development

3. Benefits of a hypothesis-driven approach to new product development in large organisations


Хотите создать свой продукт? Мы можем в этом помочь.
Оставьте заявку на нашем сайте.
Мы проконсультируем по вашему проекту.