Самые важные метрики QA

29.01.14 24.9K

Хорошо известно, что именно Яндекс является наиболее популярной поисковой системой Рунета. Исходя из этого, инструмент, который позволяет следить за статистикой посещения сайтов, созданный специалистами Яндекса, обладает огромной эффективностью.

Таким инструментом является Яндекс.Метрика , сервис, разработанный специально для администраторов сайтов и веб-мастеров.

Что такое Яндекс. Метрика?

Данный сервис позволяет не только анализировать посещаемость веб-сайта, но и максимально достоверно оценивать действия посетителей. Яндекс.Метрика поддерживает интеграцию с другими сервисами компании Яндекс.

Например, Яндекс.Маркет и Яндекс.Директ . Помимо всего прочего в рамках метрики реализована функция мониторинга, которая позволяет узнать об имеющихся проблемах доступности вашего сайта с помощью SMS.

Также стоит отметить, что массив данных, собираемых сервисом Яндекс.Метрика, имеет прямое влияние на стоимость перехода по ссылкам в «Рекламной сети Яндекс » (РСЯ).

Зачем нужна метрика от Яндекса?

Грамотное использование сервиса Яндекс.Метрика позволяет:

  • Провести детальный анализ трафика, поступающего на сайт из разных источников;
  • Формировать индивидуальные аналитические отчеты на основе данных, собранных системой;
  • Детально проанализировать поведение пользователей, приходящих на сайт;
  • Оценить эффективность проводимых рекламных и маркетинговых кампаний;
  • Выделить и проанализировать всевозможные характеристики целевой аудитории сайта.

Сервис веб-аналитики от компании Яндекс помогает грамотно и эффективно вести работу по развитию и раскрутке сайта, а также оптимизировать затраты на рекламу.

Совершенно очевидно, что в том случае, если с определённых порталов не происходит притока посетителей, смысла тратить деньги на рекламу нет. Таким образом, Яндекс.Метрика не только экономит ваши средства, но и помогает в продвижении сайта.

Как зарегистрироваться в сервисе Яндекс. Метрика?

Для того чтобы пользоваться сервисом, необходимо зарегистрироваться либо авторизоваться в системе Яндекс:


В том случае, если вы ещё не зарегистрированы в системе, вам следует пройти простой процесс регистрации, после чего вы получите доступ ко всем сервисам и функциям Яндекса, а также бесплатный электронный почтовый ящик.


Пройдя авторизацию и нажав кнопку «Добавить » на главной странице системы Яндекс. Метрика вы попадёте на страницу добавления сайта в систему статистики.

Как установить и настроить Яндекс Метрику?

В интерфейсе Яндекс.Метрики ориентироваться довольно просто.

Можно выделить три основных функции: «Отчёты », «Конструктор », «Мои счётчики ». В последней отражается список сайтов, по которым отслеживаются данные в рамках вашей учётной записи.


С помощью кнопки «Добавить счетчик » можно подключить данный сервис для новых сайтов. Вся необходимая настройка осуществляется в несколько шагов:

Первая функция необходима для того чтобы снизить излишнюю нагрузку на сайт со стороны поискового робота за счёт запрета отправки на индексацию автоматически генерированных страниц сайта.

Вебвизор - удобная функция Яндекс. Метрики для слежения за действиями пользователей сайта. Благодаря ему вебмастер может отобразить процесс посещения сайта в онлайн-режиме в виде видеофайла.

С помощью вебвизора вы можете увидеть:

  • Какой текст посетитель выделял;
  • Какие кнопки и баннеры были нажаты;
  • Как именно посетитель прокручивал страницы;
  • Движение курсора мыши пользователя, что позволяет проанализировать эффективность и скорректировать дизайн сайта;
  • Тип браузера, операционной системы и IP адрес сервера.

Страница настроек счётчика должна выглядеть приблизительно следующим образом:


В том случае, если вы хотите, чтобы статистику посещений сайта видели другие пользователи, Яндекс.Метрика позволяет включить гостевой и публичный доступ. Сделать это можно в разделе настроек счётчика во вкладке «Доступы »:

Что такое цели в Яндекс Метрике и как их настроить?

Для одного сайта в рамках данного сервиса можно задавать до 10 различных целей.
В Яндекс.

Метрике существует четыре типа целей:


Для того чтобы добавить цель, напротив нужного сайта в списке ваших счётчиков кликните на зелёную кнопку справа, которая называется «Редактировать счётчик ».

Во вкладке с настройками выбранного счётчика в подвкладке «Цели » нажмите «Добавить цель ».

Добавление счётчика Яндекс.Метрики на свой сайт

Настроив все указанные параметры под свои цели, сохраните настройки и скопируйте код счётчика на свой сайт, поместив его внутрь тега .


Для установки счётчика Яндекс.Метрики на сайт, работающий под управлением CMS WordPress, откройте в административной панели вкладку «Внешний вид », и кликните по пункту «Редактор ».


В появившемся списке выберите файл «footer.php », и в самом его конце (перед закрывающимся тегом ) вставьте код, предоставленный сервисом Яндекс.Метрика:


Осталось только сохранить настройки, нажав кнопку «Обновить файл », и на этом установка счётчика для сайта на WordPress будет завершена.

Для того чтобы установить аналогичный счётчик на сайт, работающий под управлением CMS Joomla , в административной панели кликните на «Расширения », затем на «Менеджер модулей » и «Создать ».

В этой статье я хочу рассмотреть одни из самых важных QA метрик на мой взгляд. Это будут такие показатели, коэффициенты и индикаторы, которые позволят охватить общую картину происходящего на проекте с точки зрения качества и определить шаги по его улучшению. Метрики будут касаться 5 разных областей: требования, качество ПО, эффективность команды тестирования, качество работы QA и обратная связь. Важно измерять и отслеживать показатели одновременно в различных срезах процесса разработки ПО, чтобы обнаруживать общие, корневые проблемы, уметь настраивать и оптимизировать весь процесс

Группа 1 - Требования к разрабатываемому ПО

Эта группа метрик позволит оценить, насколько мы проработали требования (user story) к ПО, определить уязвимые места и наиболее сложные, потенциально проблемные фичи ПО, понять, где требуется особый контроль:

1. Тестовое покрытие требования

Иными словами, это количество тестов на 1 требование.

Назначение метрики: выявить слабые места в тестовом покрытии, подсветить риски.

  • Конечно, данная метрика будет работать, только если требования хорошо декомпозированы и более или менее равнозначные. Разумеется это не всегда возможно, но если получается сделать требования достаточно атомарными, то данная метрика покажет отклонение покрытия каждого требования от среднего уровня. Чем больше значение отличается от 1, тем меньше\больше тестов написано для одного требования, чем обычно.
  • Важнее всего обратить внимание на требования, для которых коэффициент будет равен или близок к 0. Для них нужно рассмотреть возможность добавления тестов.
  • Если требования не атомарные, то данная метрика позволит убедиться только в том, что для каждого требования есть хотя бы 1 тест. Для этого коэффициент всегда должен быть больше 1.

2. Степень взаимосвязанности требований

Метрика вычисляется как среднее количество связей каждого требования с остальными требованиями.

Назначение метрики: дать основание для оценки сроков тестирования и учета возможных рисков. Зная степень взаимного влияния требований друг на друга можно, например, запланировать дополнительное время и кейсы для сквозного тестирования, проработать регрессионные проверки, посмотреть в сторону интеграции и т.п.

  • Значение этой метрики будет находиться от 0 до 1. 1 означает, что каждое требование связано с каждым, а 0 – что взаимосвязей нет.
  • Тут сложно вводить какие-то ограничения для значений данного коэффициента, многое зависит от специфики функционала, архитектуры, технологий. Однако, по своему опыту могу сказать, что хорошо, когда степень связанности не превышает 0,2-0,3. В противном случае доработка в рамках одного из требований будет вести к цепочке изменений, а значит и возможных ошибок, в значительной части продукта.

3. Коэффициент стабильности требований

Назначение метрики: показать, как много уже реализованных требований приходиться переделывать от релиза к релизу при разработке новых фич.

  • Разумеется, полностью изолированного функционала не существует, но количество новых требований должно преобладать над изменяемыми а коэффициент желательно должен быть меньше 0,5. В этом случае мы внедряем новых фич в 2 раза больше, чем переделываем существующих.
  • Если коэффициент выше 0,5, особенно если больше 1, то это скорее всего значит, что ранее мы сделали то, что оказалось ненужным. Команда фокусируется не на создании новых ценностей для бизнеса, а на переделывании ранее выпущенных фич.
  • Также метрика дает представление о том, насколько легко масштабируется функционал системы, добавляются новые возможности.

Группа 2 - Качество разрабатываемого продукта

Как следует из названия, эта группа метрик демонстрирует качество ПО, а также и качество самой разработки.

1. Плотность дефектов

Вычисляется доля дефектов, приходящаяся на отдельный модуль в течение итерации или релиза.

Назначение метрики: подсветить, какая часть ПО является наиболее проблемной. Эта информация поможет при оценке и планировании работ с данным модулем а также при анализе рисков.

  • Причины большого количества дефектов к каком-то одном конкретном модуле (коэффициент больше 0,3) могут быть различны: некачественные требования, квалификация разработчика, техническая сложность и т.д. В любом случае данная метрика сразу обратит наше внимание на проблемную зону.

2. Коэффициент регрессии

Назначение метрики: показать, на что уходят усилия команды: занимаемся ли мы больше созданием и отладкой новых фич или основную часть времени вынуждены латать уже существующие части ПО

  • Чем ближе коэффициент к 0, тем меньше было внесено ошибок в существующий функционал при реализации новых требований. Если значение больше 0,5, то мы больше половины времени тратим на восстановление работавших ранее функций ПО

3. Коэффициент повторно открытых дефектов

Назначение метрики: дать оценку качеству разработки и исправления дефектов, а также сложности продукта или отдельного модуля

  • Эту метрику можно рассчитывать для всего ПО, отдельного модуля или функциональности. Чем полученное значение ближе к 0, тем меньше при разработке повторяются старые ошибки.
  • Если коэффициент получился больше 0,2-0,3, это может говорить либо о технической сложности модуля и высокой связанности требований в нем, либо о корявой архитектуре, либо о том, что предыдущий фикс был сделан некачественно.

4. Средняя стоимость исправления дефекта

Отношение суммы затрат понесенных командой при работе со всеми дефектами (например, в рамках релиза) к общему числу дефектов.

Назначение метрики: показать как дорого нам обходиться обнаружение и исправление каждого дефекта. Это даст возможность посчитать выгоду от сокращения числа допускаемых ошибок, оценить целесообразность соответствующих техник.

  • Каких-либо правильных значений тут конечно нет, все будет определяться спецификой конкретной ситуации

5. Количество дефектов в коде конкретного разработчика

Назначение метрики: подсветить возможные сложности в команде разработки, кому из специалистов не хватает опыта, знаний или времени, нужна помощь.

  • Если, например, 50% всех дефектов приходиться на 1 разработчика, а всего в команде их 5, то тут явно есть проблема. Из этого не следует, что данный программист плохо работает, но сигнализирует обязательно разобраться в причинах подобной ситуации.
  • Метрика помимо прочего может быть индикатором особенно сложного для разработки и поддержки модуля\функционала\системы.

Группа 3 – Возможности и эффективность команды QA

Основная задача данной группы метрик заключается в том, чтобы выразить в цифрах, на что способна команда тестирования. Эти показатели можно рассчитывать и сравнивать на регулярной основе, анализировать тенденции, наблюдать по ним, как на работу команды влияют те или иные изменения.

1. Скорость работы (velocity) команды QA

Рассчитывается как отношение реализованных story points (или требований, или user stories) за несколько, например, 4-5 итераций (Sprint) к количеству выбранных итераций.

Назначение метрики: численно выразить возможности, скорость работы команды для дальнейшего планирования объема работ и анализа трендов развития

  • Метрика позволяет следить за скоростью работы QA, наблюдать за тем, какие внутренние процессы или внешние воздействия на команду могут на эту скорость повлиять.

2. Среднее время жизни дефекта

Общее время, в течение которого были открытыми дефекты, найденные в рамках итерации или релиза к сумме дефектов.

Назначение метрики: показать, сколько в среднем времени уходит на работу с одним дефектом: на его регистрацию, исправление и воспроизведение. Данный показатель позволит оценить время, необходимое на тестирование, выделить области ПО с которыми возникают наибольшие сложности.

  • Обычно время жизни дефекта, это все время от его создания (статус Created) до закрытия (Closed) за вычетом всех возможных Postponed и Hold. Любой баг-трекер позволяет рассчитать и выгрузить данную информацию для отдельного спринта или релиза.
  • Также среднее время жизни дефекта можно рассчитывать для различных модулей и функций ПО, или, что самое интересное, отдельно для каждого из тестировщиков и разработчиков из команды. Так есть шанс выявить особенно сложные модули или слабое звено в команде ПО.

Группа 4 - Качество работы команды тестирования

Задача этого набора метрик оценить насколько качественно тестировщики выполняют свои задачи, определить уровень компетенций и зрелости команды QA. Обладая таким набором показателей можно сравнивать команду с ней же самой в разные моменты времени или с другими, внешними группами тестирования.

1. Эффективность тестов и тестовых наборов

Назначение метрики: показать как много ошибок в среднем позволяют обнаружить наши кейсы. Эта метрика отражает качество тест дизайна и помогает следить за тенденцией его изменения.

  • Лучше всего рассчитывать данную метрику для всех наборов тестов: для отдельных групп функциональных проверок, регрессионного набора, Smoke тестирования и т.д.
  • Данный показатель «убойности» тестов позволяет мониторить эффективность каждого из наборов, как она меняется с течением времени и дополнять их «свежими» тестами.

2. Коэффициент ошибок, пропущенных на продуктив

Кол-во ошибок обнаруженных после выпуска релиза \ общее кол-во ошибок в ПО обнаруженных в процессе тестирования и после выпуска

Назначение метрики: продемонстрировать качество тестирования и эффективность обнаружения ошибок - какая доля дефектов была отфильтрована, а какая прошла на продуктив.

  • Допустимый процент ошибок, которые были пропущены на продуктив, конечно же будет зависеть от многих факторов. Однако, если коэффициент получился >0,1 – это плохо. Это значит, что каждый десятый дефект не был обнаружен во время тестирования и привел к проблемам в ПО, уже переданном пользователям.

3. Реальное время работы команды QA

Отношение времени потраченного командой непосредственно на QA активности к общему кололичеству часов.

Назначение метрики: во-первых, увеличить точность планирования, а во-вторых, отслеживать и управлять эффективностью работы той или иной команды.

  • Целевые активности, это анализ, дизайн, оценки, тестирование, рабочие встречи и многое другое. Возможные побочные вещи - это простой из-за блокеров, проблемы в коммуникациях, недоступность ресурсов и т.п.
  • Естественно, данный коэффициент никогда не будет равен 1. Практика показывает, что для эффективных команд он может составлять 0,5-0,6.

4. Точность оценки времени по областям\видам\типам работ

Назначение метрики: позволяет использовать поправочный коэффициент для последующих оценок.

  • Степень точности оценки можно определить для всей команды или отдельных тестировщиков, для всей системы или отдельных модулей ПО.

5. Доля неподтвержденных (отклоненных) дефектов

Назначение метрики: показать сколько дефектов были заведены «вхолостую».

  • Если доля дефектов, которые были отклонены превышает 20%, то в команде может наблюдаться рассинхронизация в понимании, что является дефектом, а что нет

Группа 5 - Обратная связь и удовлетворенность пользователей

И в заключение, группа метрик, показывающая, как продукт был принят конечными пользователями, насколько он соответствовал их ожиданиям. Но важна не только обратная связь о ПО: еще одна важная задача этой группы метрик - показать, удовлетворены ли пользователи процессом взаимодействия с командой ИТ в целом и QA в частности.

1. Удовлетворенность пользователей ИТ сервисом

Регулярный опрос удовлетворенности пользователей сервисом ИТ с выставлением баллов.

Назначение метрики: показать, доверяют ли пользователи команде ИТ, понимают ли, как и почему организована ее работа, насколько эта работа оправдывает ожидания.

  • Метрика может служить индикатором того, что необходимо сфокусироваться на оптимизации процесса или сделать его понятнее и прозрачнее для пользователей.
  • Расчет показателя удовлетворенности можно проводить на основе результатов опроса по итогам релиза. Собираем все оценки и считаем средний балл. Далее можно повторно рассчитать такой балл, после того как будут сделаны изменения в процессе.

2. Удовлетворенность пользователей продуктом

Регулярный опрос пользователей о том, насколько они удовлетворены продуктом.

Назначение метрики: определить, насколько разрабатываемый продукт соответствует ожиданиям пользователей, в том ли направлении мы движемся, правильно ли определяем важность фич и выбираем варианты решений.

  • Для расчета этой метрики также проводим опрос пользователей и вычисляем средний балл. Рассчитывая такой показатель на регулярной основе (например, после каждого релиза) можно следить за трендом удовлетворенности пользователей.

3. Вовлеченность стейкхолдеров

Количество инициатив и предложений по улучшению процесса и продукта, поступивших в течение итерации (релиза) со стороны стейкхолдеров

Назначение метрики: определить степень участия внешних стейкхолдеров в работе над продуктом. Имея на руках такую метрику можно сориентироваться, где требуется получить обратную связь, чтобы однажды не столкнуться с презрением и ненавистью проблемами и непониманием.

Каждый специалист в области SEO знает, что без анализа вывести сайт в ТОП не получится. Аналитика поможет определить какое направление необходимо доработать. Существуют разные инструменты, позволяющие оценить ресурс, например, Яндекс.Метрика и Google Analytics. С их помощью владелец сайта может получить данные о посещаемости ресурса, источниках, посетителях и много другой полезной информации. Все данные предоставляются в форме отчетов.

Что такое Яндекс.Метрика?

Метрика в поисковой системе Яндекс – это сервис, созданный для проведения аналитики посещаемости ресурса и поведения интернет-пользователей. Сервис функционирует на бесплатной основе, поэтому пользуется большой популярностью.

Установив такой счетчик на своем сайте, вы будете получать развернутую информацию о «жизни» ресурса, оценивать результаты работы рекламы и вложенных в нее денежных средств.

Установить Метрику и привязать счетчик к рекламной компании можно самостоятельно.

Основные понятия

Для того чтобы понимать данные, которые предоставляет сервис, важно знать и разбираться во внутренней терминологии используемой в Яндекс.Метрике:


Чем отличаются просмотры от визитов и посетителей? Предположим, что за неделю ресурс посетило 5 юзеров, причем один из них появлялся на сайте три дня из семи. Тогда просматривая статистику за неделю, мы увидим, что ресурс посетило всего 5 уникальных пользователей. Тот факт, что один из них заходил на сайт несколько раз, в отчете по посетителям не учитывается. А вот в отчете по визитам, как раз учитывается, значит, число визитов будет равно 8. Отчет по просмотрам показывает среднее число страниц, просматриваемое пользователями на данном ресурсе.

Основные отчеты Метрики

Рассмотрим наиболее полезные отчеты, представленные в Метрике:

  • По ключевым словам. Поможет выявить «работающие» слова, благодаря которым на ресурс приходят пользователи.
  • По площадкам. Показывает РСЯ площадки, на которых отображаются ваши объявления.
  • Показатели по источникам трафика. Отображает данные по каналам трафика, благодаря чему владелец сайта сможет определить, какой из них приносит большую прибыль.
  • По устройствам. Показывает число пользователей, посетивших ресурс через ПК, мобильный телефон, планшет. Здесь же можно увидеть модели устройств, которыми пользуется большая часть ваших юзеров. Полезный отчет для оптимизации ресурса.
  • Половозрастной показатель. Отчет позволяет увидеть, кто чаще (мужчины или женщины) пользуется сайтом и совершает на нем покупки, и каков средний возраст аудитории.
  • Время и часы. Помогает увидеть активность пользователей в течение дня или недели.
  • География. Отчет для определения региона использования. Помогает определить, где продажи идут лучше.
  • Вебизор. Отчет для оценки ресурса помогает выявить его сильные и слабые стороны.

Это далеко не все отчеты, которые вы сможете получить при использовании Яндекс.Метрики. Есть еще огромное количество полезных инструментов, которые помогут вам проанализировать ресурс с разных сторон.

Что значат отказы в Яндекс.Метрике?

Любой поисковик создан с одной целью – получение финансовой выгоды. Чем больше людей используют поисковую систему, тем больше денег получает компания. Именно поэтому для Яндекса важно предоставлять пользователям качественную выдачу, повышая тем самым свою популярность.

Получается, что поисковик постоянно ведет работы для выявления самого полезного сайта. Процесс этот выглядит примерно так: юзер вводит запрос в строку поиска – получает результаты – поочередно нажимает на каждый из них в поисках ответа на свой вопрос. Если через время пользователь снова возвращается к выдаче, то система автоматически воспринимает последний ресурс как некачественный, и он получает отказ в Яндекс.Метрике. А тот ресурс, после которого пользователь прекратил поиски по запросу, и остановился на нем, считается хорошим, по мнению Яндекса.

Таким образом, отказ в Метрике можно получить, если пользователь зашел на сайт и пробыл на нем меньше 15 секунд. Чем больше отказов получает сайт, тем менее качественным он считается, и получает больше шансов попасть под фильтры системы.

Что такое переходы и их влияние на поведенческие факторы?

Рассмотрим влияние переходов на поведенческие факторы на простом примере: пользователь ввел запрос в поисковую строку – получил 10 результатов – зашел на каждую страницу в поисках ответа. Тот ресурс, который дал наиболее полный ответ и больше заинтересовал пользователя, является самым качественным по данному запросу.

Переходы на другие страницы выбранного ресурса положительно сказываются на поведенческом факторе. Только вот не совсем понятна взаимосвязь запросов юзера с переходами на другие страницы. Ведь, если пользователь зашел на сайт интернет-магазина с целью приобрести мобильный телефон, он будет «гулять» по страницам ресурса в поисках нужной модели, но не найдя его вновь обратится к поиску. Где в данном случае улучшение поведенческого фактора и решение вопроса юзера, не понятно. По этой причине показатель переходов в Метрики для многих считается ложным, и его можно смело опускать при оценке поведенческих факторов ресурса.

Настройка Яндекс.Метрики

Поговорим о нюансах настройки Метрики:

  • Для получения чистых данных аналитики стоит задать счетчику команду не учитывать ваши личные посещения и посещения ботов поисковых систем;
  • Для того, чтобы иметь возможность анализировать поведение посетителей, обязательно активируйте Вебизор;
  • Проставьте цели. Они помогут получить аналитику поведения пользователей со стороны важной для вас. К примеру, вам важно, чтобы пользователи просматривали минимум 3 страницы ресурса, укажите эту цель, и Метрика будет считать пользователей достигших ее;
  • Пользуйтесь картой кликов. Она покажет, какие элементы страницы больше всего интересуют юзеров.

Правильно настроенная Метрика поможет контролировать воронку продаж покажет, какие элементы требуют доработки, и проанализирует эффективность работы ресурса в целом.

Вебизор

В статье вы несколько раз встречали слово «Вебизор», давайте более подробно разберем, что же это такое.

Вебизор – это сервис, показывающий, что делают пользователи на сайте.

В нем можно увидеть следующие данные о каждом конкретном юзере:

  • Откуда пришел посетитель – поисковик, ссылка, прямой переход, реклама;
  • Место нахождения пользователя – страна;
  • Операционка пользователя;
  • Браузер, которым пользуется юзер;
  • Время перехода на сайт;
  • Активность пользователя на странице;
  • Время пребывания на ресурсе;
  • Число просмотренных страниц пользователем;
  • Запрос, который использовал человек для поиска страницы.

Сервис дает возможность просмотреть ролик посещения, где видны все действия юзера (выделение текста, остановки и прочее).

Инструмент крайне полезный, только вот доступен он лишь клиентам Яндекса, регулярно «вливающим» в Яндекс.Директ более 10 тыс. рублей.

Яндекс.Метрика или Google Analytics?

Выбрать между этими двумя сервисами один довольно трудно. Дело в том, что имеет одни из них, отсутствует в другом, и наоборот. По масштабу и возможностям они отличаются друг от друга, однако оба инструмента важны. Поэтому не стоит выбирать, а лучше использовать оба счетчика. Они прекрасно дополняют друг друга, и дают возможность получать массу полезной информации, с помощью которой вы сможете анализировать качество работы своего ресурса с абсолютно разных сторон.

Очень часто во многих стартапах складывается такая ситуация: все работают, процесс создания идет успешно, а потом оказывается, что пользователей мало, и те, которые есть, недовольны Вашим продуктом. Эту ситуацию проходит много стартапов, и немаловажное значение для выхода из кризиса имеет настойчивость и упорство основателей, а также умение влиять на команду, поддерживая "боевой настрой". Но до такой ситуации можно и не доводить, если воспользоваться опытом предыдущих команд.

В стартапе на любой стадии необходимы четкие метрики, которые подскажут вам, в каком направлении вы двигаетесь и двигаетесь ли вообще.

В английском языке есть слово "traction ". В переводе оно означает:

  • тяга; тяговое усилие;
  • поддержка, шансы на успех; ситуация, когда кто-то или что-то имеет своих сторонников.

Заметьте, что второе значение по смыслу связано с первым. Лидеру проекта нужно отслеживать "traction ". Его описывают, как значимую обратную связь от ваших клиентов. Одним из классических определений понятия "traction " в бизнесе является следующее: "quantitative evidence of market demand ", т.е. явное количественное доказательство того, что продукт или услуга, которые предлагает ваш стартап, на самом деле имеет спрос на рынке.

Проще говоря, это фактическое, притом массовое, а не единичное, подтверждение нужности конечному (целевому) потребителю создаваемого вами проекта.

Как измерять "traction "? Существуют разные метрики. Начнём с неправильных. Вот несколько примеров:

Чем плохи эти метрики? Это так называемые, "метрики тщеславия" - термин, введённый Эриком Райсом. Они хорошо влияют на наше самолюбие, но, по сути, ничем не отличаются от "лайков" в социальных сетях. Обратите внимание:

  • эти метрики будут расти в любом случае;
  • они не позволяют понять, что привело к изменению показателей, а, следовательно, не могут помочь стартаперам в принятии решений.

Правильные метрики должны быть точными. Они могут быть сравнительными (сравниваем показатель X1 с показателем X2) и/или относительными, т.е. выраженными в процентах. Ещё они должны быть понятны широкому кругу людей, по крайней мере - вашей команде. Исходя из методологии CDM ( Customer Development Methodology ) и Lean Startup, метрики должны влиять на поведение основателей стартапа, служить призывом к действию.

AARRR - Startup Metrics for Pirates

Теперь о правильных метриках. Дейв Маклюр, один из основателей акселератора-инкубатора (в портфолио около 450 компаний) стартапов "500 Startups", предложил систему метрик AARRR - Startup Metrics for Pirates.

AARRR - это аббревиатура, сформированная из названий стадий, через которые проходит пользователь в вашей воронке продаж:

  • Acquisition (приобретение пользователей, их привлечение на ресурс). Это посетители вашего сайта, которые пришли из разных мест. Кто-то по рекламным каналам, кто-то через поиск, кто-то через ссылку в твиттере.
  • Activation (активация). Посетителям понравился их первый визит. Они не закрыли сразу ваш сайт, они что-то на нем прочитали, поняли, в чем суть и совершили необходимое действие - подписались на рассылку, зарегистрировались, заказали обратный звонок и т.д.
  • Retention (удержание). Ваши посетители возвращаются на ваш сайт, потому что он им чем-то нравится, и совершают там какие-либо действия.
  • Referral (передача). Посетителям нравится ваш сайт настолько, что они рассказывают о нем, привлекая новых пользователей, которые в свою очередь тоже проходят стадию активации (это важно).
  • Revenue (доход). Ваши посетители превратились в клиентов, которые платят вам деньги.

В разных источниках 4-ый и 5-ый этапы часто меняются местами. Это логично, т.к. в классической схеме продаж пользователи сначала становятся клиентами, а потом начинают говорить о продукте.

Теперь поговорим о каждом этапе более подробно.

Привлечение (Acquisition)

Первый этап. Люди приходят к вам из разных каналов: социальные сети, SEO (поисковая оптимизация, от англ. search engine optimization), SEM (поисковый маркетинг, от англ. search engine marketing), E-mail, блоги, контекстная реклама, офлайн (события не в онлайне), партнерские программы и прочие. Основной показатель - соотношение переходов на сайт и затраченных денег/просмотров рекламы.

Активация (Activation)

Пользователи попали на ваш сайт. Как понять, что произошла активация?

Пользователь:

  • провел на сайте 10-30 и более секунд.
  • посмотрел 2-3 и более страниц.
  • сделал 3-5 кликов.
  • воспользовался одной ключевой функцией.

Что может быть ключевой функцией или действием, которое считается активацией?

Для того, чтобы активация была успешна, требуется создавать множество "landing page" ("посадочных" страниц). В стартапах обычно используют от 4 до 16 "landing page", но можно и больше. После этого необходимо проводить A/B тестирование, т.е. делать разные страницы и отслеживать конверсию. Делать это нужно быстро.

Ключевые метрики данного этапа:

  • Количество просмотренных страниц за визит.
  • Время на сайте.
  • Конверсия.

У любого стартапа есть показатели, к которым стоит стремиться. Но метрики — только половина дела. Главное — достичь реального роста, а это, по словам Пола Грэма (Paul Graham), знаменитого эксперта по инвестициям и соучредителя Y Combinator, поразительно разносторонняя задача. К сожалению, многие компании, большие и малые, зачастую вовсе не отслеживают свой прогресс. В то время как выбор единого четкого ориентира и следование ему — один из важнейших аспектов успешного развития бизнеса.

К примеру, компания Shopify (которая, к слову, недавно вышла на IPO и была оценена в миллиард долларов) использует для этого настолько простую тактику, что удивительно, почему остальные компании не следуют её примеру. Каждую неделю они: а) рассылают членам команды электронные письма, позволяющие отследить ключевую метрику, и б) проводят совещание, чтобы обсудить результаты. Вот и все.

Тем не менее, за этими простыми действиями — целая философия, как управлять компанией, как распределять права и обязанности внутри команды, чтобы сплотить ее для достижения цели. Генеральный директор Shopify Тоби Литке (Tobi Lutke) называет это «мотором быстрорастущего многомиллионного бизнеса».

Выбор ключевых метрик

Современные инструменты оптимизации позволяют отслеживать и регулировать буквально сотни различных показателей. И многие бизнес-аналитики собирают массу данных, анализируют их, превращая в таблицы, диаграммы, графики. Это распространенная ошибка. Без четкого ориентира вы распыляете силы, тратите время в том числе на маловажные, а то и бесполезные метрики. А время в SaaS-бизнесе всегда играет против вас.

Сосредотачивая внимание на одном показателе, вы задаете своей команде единую цель, на достижение которой она и бросает все силы. Главное — выбрать правильную метрику, тогда и все остальное встанет на свои места.

Какой же должна быть эта правильная метрика?

Она должна отражать вашу основную задачу и усилия по ее достижению, а также иметь оптимальный интервал измерения.

1. Выбор стратегии

Это может показаться простым этапом, однако выбор направления часто сопряжен с необходимостью идти на компромиссы. К примеру, если вы решили делать ставку на удержание клиентов, то вынужденно «просядете» по части привлечения новых лидов, и наоборот. Так что выбор стратегии требует очень взвешенного подхода.

Как правило, на ранних этапах развития владельцы компании сосредотачиваются на росте (количества активных пользователей или ежемесячного дохода — MRR, Monthly Recurring Revenue).

Позднее фокус на развитие сохраняется, но при этом вы можете начать уделять все больше внимания увеличению пожизненной ценности клиентов (LTV, Lifetime Value), а также отслеживанию (MRR Churn). Однако, как правило, эти аспекты находятся в компетенции конкретных подразделений компании, поэтому сплотить вокруг них всю команду гораздо сложнее.

2. Постановка цели

Итак, вы определились, на какой конкретно показатель будете ориентироваться. Второй шаг — установить конкретные измеримые цели. К примеру, на ранней стадии стартапа это вполне может быть рост 5-7% в неделю, в то время как на более поздних этапах более разумно будет установить планку 3% в месяц. Здесь важно сохранять баланс: чтобы по-настоящему воодушевлять команду, цель должна быть достаточно амбициозной, но при этом достижимой.

3. Выбор интервала измерений

Так же, как и в случае с целеполаганием, интервал измерений будет меняться в зависимости от стадии развития проекта. На старте разумнее отслеживать ключевые показатели еженедельно, а затем постепенно переходить на ежемесячные или даже ежеквартальные измерения. Единственное, что должно быть неизменным — это четкие сроки подготовки отчетов. Это дисциплинирует команду и позволяет собирать точную информацию, которая в дальнейшем позволит вам оценить развитие компании в ретроспективе.

Установка ориентиров — это лишь начало битвы. Дальше вам предстоит убедиться, что им следует каждый человек в компании, и все его действия нацелены на достижение цели, без дополнительных указаний от руководства. И помочь в этом могут ежедневные отчеты, рассылаемые сотрудникам по электронной почте.

Каждый сотрудник, который имеет влияние на ваш целевой показатель, должен получать актуальную информацию о том, как компания продвигается к цели. Это позволяет лучше почувствовать свое влияние на прогресс. Особенно это касается специалистов по продажам и других членов команды, которые находятся «на линии фронта», внося основной вклад в продвижение.

В недавнем исследовании, проведенном ProfitWell среди SaaS-клиентов, обнаружилось, что компании, которые делились информацией о своем финансовом росте с командой, росли на 34% быстрее, чем те, кто этого не делал.

Сам по себе рост (скажем, рост MRR, ежемесячного дохода) складывается из многих составляющих — увеличение числа новых клиентов, рост дохода с каждого клиента, переход на более дорогие тарифные планы, снижение отказов, и так далее. При этом информация по вашей главной метрике служит для членов команды своего рода компасом, который показывает, в правильном ли направлении движется каждый из них.

Однако одних рассылок по электронной почте недостаточно. Неизбежно накапливаются вопросы, требующие живого обсуждения и планирования. Еженедельные совещания помогут быть всегда в курсе событий и иметь план согласованных действий на ближайший период.