Интернет-индустрия переживает сдвиг мышления. Вместо уверенности в том, что мы знаем, что нужно делать, мы начали осознавать, что создание продукта — это сложный процесс. Мы приняли тот факт, что наши идеи чаще терпят неудачу, чем приносят успех.

Опираться в работе на гипотезы — этот совет все чаще звучит в digital. Маркетологи переименовываются в growth hackers, менеджеры организуют работу по циклу Деминга, программисты и дизайнеры отходят от работы по т.з. — вместо этого data driven подход, а стартапы начинают свой путь c разработки MVP.

В основе этих методологий и фреймворков лежит научный подход:  «постановка гипотезы — проведение эксперимента — анализ результатов». Это неудивительно, так как создание продуктов, как и исследовательская деятельность, сфера, где высока степень неопределенности. При таком подходе работа над проектом превращается в беспрерывный процесс приобретения знаний, который начинается с формулирования гипотезы.

Гипотеза (наука) — предположение, которое не имеет достаточных подтверждений и не опровергнуто, но представляется вероятным. Это определение предлагает Википедия. Но в разработке новых продуктов, гипотезой нельзя считать любое предположение.

Чтобы с гипотезой можно было работать, она должна включать в себя следующие компоненты:

1 компонент: что изменяем?
2 компонент: на что повлияем?
3 компонент: для кого?
4 компонент: на сколько изменится?
5 компонент: сколько времени проводим эксперимент?

Если в гипотезе они не будут отображены, то интерпретация результатов может быть подвергнуться когнитивным искажениям. Например, можно посчитать причиной и следствием просто два события, прошедшие друг за другом. Или вместо поиска истины, искать подтверждения идеи.

О том, что конкретно должен из себя представлять каждый компонент поговорим и поговорим в этой статье.

1 компонент: что изменяем?

В этом компоненте описывается, какое изменение в продукте хотите протестировать. Что это будет: новый дизайн, новый функционал?

Главное не тестируйте сразу несколько изменений, руководствуйтесь правилом: «1 идея = 1 гипотеза». В ином случае, не получится проверить, какое конкретно изменение повлияло на метрики.

Но даже если ограничится одной идеей, она может быть слишком большой и сложной. Постарайтесь её конкретизировать.

Для этого опишите user flow, в котором планируется изменение. Проследите, что изменение повлияет только на один шаг в одном пользовательском сценарии.

Например:

«Пользователь, для того чтобы купить товар, нажимает на кнопку. В тесте поменяем цвет кнопки с жёлтой на зелёную. Ожидаем, что увеличится конверсия в продажу».

Антипример:

«Пользователь, для того чтобы купить товар, должен будет нажимать на сердечко в правом углу и переходить в wish list. И уже там совершает покупку».

Второй вариант полностью меняет пользовательский сценарий. Не ясно, что конкретно будет влиять на конверсию, так как мы совершаем несколько изменений.

Итого: в гипотезе должно быть описано, что меняем. В 1 гипотезе - 1 изменение.

Предлагаем потренироваться. Найдите, какой из трёх вариантов можно использовать как 1 компонент гипотезы.

  1. Сделать полный редизайн главной страницы.
  2. Изменить аудиторию в таргетированной рекламе.
  3. Переделать приложение для знакомств в сервис для поиска работы.

2 компонент: на что повлияем?

1 компонент описывает изменение, второй — его воздействие.

Ожидаемое воздействие должно быть конкретным и измеримым:

  • На что повлияет внесенное изменение? На конверсию, время отклика, на рост аудитории?
  • Как узнаем, что изменение прошло успешно?

Например, мы решили протестировать изменение формы сбора заявок. Мы предполагаем, что это повлияет на удобство использования. «Удобство использования» — это широкое понятие, поэтому оно не подходит для включения в гипотезу, нужно его конкретизировать. Какие метрики его могут характеризовать? Время заполнения, показатель отказов и т.д. Вот их мы можем включать в гипотезу. Для каждого воздействия создается отдельная гипотеза.

Таким образом, начало гипотез будет звучать так: «Если мы изменим форму сбора заявок, уменьшится время её заполнения...». «Если мы изменим форму сбора заявок, снизится показатель отказов...».


Поможем составить гипотезы и спроектировать MVP.
Оставьте заявку на нашем сайте.
Мы проконсультируем по вашему проекту.


3 компонент: для кого?

Третий компонент в правильно составленной гипотезе — аудитория, явное обозначение на кого повлияет изменение. Часто об этом не задумываются или считают, что изменение коснется всех пользователей. Так думать неверно, поскольку в таком случае результаты не будут отражать реальную картину.

Разберем на примере. Для того чтобы увеличить число подписчиков в email-рассылке, решили показывать поп-ап с предложением подписаться, пользователям покидающим блог. Баннер увидело 50 человек, подписался 1. Получается конверсия 2%. Но проблема в том, что у блога есть постоянные читатели, которые уже подписаны на рассылку. Предположим, 45 человек уже подписчики и по этой причине говорят «нет». То есть получается 1 человек не из 50, а из 5 неподписанных, соглашается на рассылку. Реальная конверсия в подписку не 2%, а 20%. Как видите, разница в результатах тестирования с учетом аудитории и без — существенная. Таким образом, определение аудитории над которой вы проводите тестирование является важным фактором для получения точных результатов.

4 компонент гипотезы: на сколько изменится?


Четвертый компонент описывает, какой результат ожидаем получить. Для этого укажите в гипотезе, какое влияние, окажет изменение.

Например, если предполагаете, что изменение увеличит конверсию, необходимо прикинуть насколько. Гипотеза будет звучать так: «Изменение увеличит конверсию с x% до y%». Где x — текущий коэффициент конверсии, а y — ожидаемый результат после внесения изменений.

Сделать предположение нужно по двум причинам:

  1. Ожидаемое значение поможет оценить успешен результат или нет.

Например, ваше ожидание — увеличение конверсии с 2% до 10 %, а в результате получили 9%. Если нет четкой черты, то можно интерпретировать, что 9 — это тоже хороший результат. И 8 хороший результат, и вообще, любой  выше двух.

2.Ожидаемый результат поможет определить длительность проведения эксперимента.

Увеличить до 10% за неделю и за месяц это разные результаты. Подробнее об обозначении срока проведения эксперимента поговорим в следующем пункте.

5 компонент: какой срок?

Ещё одна ошибка при проверки гипотез: остановить тестирование тогда, когда достигнуто желаемое значение метрик. И, таким образом, получить результат, не отражающий реальную ситуацию. Так происходит тогда, когда в гипотезе не обозначен срок проведения эксперимента.

Разберём на примере. Вы решили увеличить конверсию с 2% до 10%. Сделали лид-манит и пустили трафик. По результатам тестирования получили удовлетворительный результат — 10%  сразу в первый день. Решили выделить весь бюджет на эту кампанию. Но в итоге РК не дала желаемый результат. Почему?

Потому что не обозначили, сколько дней при тестировании конверсия должна сохранять свое значение, для того чтобы мы считали ее действительной. Возможно, результаты первого дня были случайны, по одному дню судить нельзя. Поэтому назначайте срок проведения заранее, чтобы не быть предвзятым.

Составляем гипотезу из компонентов

В прошлых пунктах мы разобрали 5 компонентов хорошей гипотезы.

Теперь соберем их вместе. Шаблон будет строится таким образом:

«Что изменяем + на что повлияет + для какой аудитории + насколько изменится + за какое время»

Дизайн X (изменение) увеличит конверсию лендинга (влияние) с трафика с контекстной рекламы ( для кого) на 10% (насколько) через 7 дней (сколько времени).

Теперь попробуйте составить свою гипотезу. А после, для проверки — разбейте ее на пять компонентов.

Например:

Новая тема для письма увеличит открываемость на 15% для подписчиков ежедневного дайджеста на 15% через 3 дня

  • Изменить: тему письма
  • Влияние: повысит открываемость.
  • Кто: подписчики ежедневного дайджеста
  • Насколько: на 15%
  • Через какое время: Через 3 дня

Таким образом у вас получилось правильно составить гипотезу.

Такая формулировка гипотезы позволит поставить нужный эксперимент и верно интерпретировать полученные данные. А, значит, приобрести новые знания и сделать продукт еще лучше.

Вдохновлялись

  1. The 5 Components of a Good Hypothesis

2 .How to Implement Hypothesis-Driven Development

3. Benefits of a hypothesis-driven approach to new product development in large organisations


Хотите создать свой продукт? Мы можем в этом помочь.
Оставьте заявку на нашем сайте.
Мы проконсультируем по вашему проекту.