Тема «основная метрика» поддерживает конкретное продуктовое решение. Вопрос «основная метрика»: какой один показатель должен определять итог эксперимента и почему именно он отражает ожидаемый эффект. Единица «основная метрика» — заранее выбранный критерий продуктового решения. До расчёта по теме «основная метрика» фиксируют возможные действия. Неопределённый исход для темы «основная метрика» тоже считается результатом.
Задача и допустимый вывод
Решение по теме «основная метрика» формулируют заранее. Возможные действия по теме «основная метрика»: запуск, отказ, исследование, исправление данных. Каждому действию темы «основная метрика» назначают владельца. Срок пересмотра также фиксируется в теме «основная метрика».
Документ «паспорт основной метрики» фиксирует цену ошибки. В документе «паспорт основной метрики» различаются ложный запуск и пропуск эффекта. Последствия для темы «основная метрика» оценивают качественно. Microsoft Research перечисляет распространённые ошибки интерпретации экспериментальных метрик. основание
Контрольные списки анализа предлагают заранее проверять метрики, распределение и качество данных. основание
Онлайн-эксперимент сравнивает наблюдаемые исходы вариантов в работающем сервисе. основание
Нарушение ожидаемого соотношения групп может сделать оценку эффекта недостоверной. основание
Источники подтверждают основания для темы «основная метрика». Локальные пороги выбирает команда темы «основная метрика». Внутренние допущения отмечает «паспорт основной метрики». Их не приписывают источникам темы «основная метрика».
Конструкция метода
Артефакт «паспорт основной метрики» содержит шесть элементов. Вместе они описывают границы модели «основная метрика».
-
Целевой исход. Компонент темы «основная метрика»: нужный результат пользователя. Связь «основная метрика» проверяют с элементом «единица анализа». Пример включения для темы «основная метрика» записывают отдельно. Пример исключения уточняет границу темы «основная метрика».
-
Единица анализа. Компонент темы «основная метрика»: субъект одного наблюдения. Связь «основная метрика» проверяют с элементом «окно наблюдения». Пример включения для темы «основная метрика» записывают отдельно. Пример исключения уточняет границу темы «основная метрика».
-
Окно наблюдения. Компонент темы «основная метрика»: единый период измерения. Связь «основная метрика» проверяют с элементом «направление улучшения». Пример включения для темы «основная метрика» записывают отдельно. Пример исключения уточняет границу темы «основная метрика».
-
Направление улучшения. Компонент темы «основная метрика»: заранее выбранный знак. Связь «основная метрика» проверяют с элементом «порог практической значимости». Пример включения для темы «основная метрика» записывают отдельно. Пример исключения уточняет границу темы «основная метрика».
-
Порог практической значимости. Компонент темы «основная метрика»: минимум для полезного действия. Связь «основная метрика» проверяют с элементом «набор guardrails». Пример включения для темы «основная метрика» записывают отдельно. Пример исключения уточняет границу темы «основная метрика».
-
Набор guardrails. Компонент темы «основная метрика»: контроль соседних показателей. Связь «основная метрика» проверяют с элементом «целевой исход». Пример включения для темы «основная метрика» записывают отдельно. Пример исключения уточняет границу темы «основная метрика».
После заполнения модель «основная метрика» пересказывают простыми словами. Пересказ документа «паспорт основной метрики» называет субъект и событие. Период и исключения также учитываются в теме «основная метрика». Искажённый пересказ возвращает модель «основная метрика» на доработку.
Данные и временные границы
Паспорт «основная метрика» начинается с субъекта наблюдения. В задаче «основная метрика» пользователь и аккаунт дают разные знаменатели. Выбор субъекта для темы «основная метрика» следует продуктовой логике. Затем субъект «основная метрика» проверяется в сырых данных.
Источник времени для темы «основная метрика» указывают явно. Часовую зону фиксируют в определении «основная метрика». Дедупликацию данных темы «основная метрика» проверяют на реальных историях. Контрольный запрос повторяет агрегат «основная метрика». Расхождение останавливает интерпретацию «основная метрика». Исправление документируется в артефакте «паспорт основной метрики».
Порядок работы
Последовательность «основная метрика» переносит ошибки к началу. Каждый шаг оставляет проверяемый результат анализа «основная метрика».
-
Вернуться к механизму гипотезы. Шаг «основная метрика» уточняет компонент «целевой исход». Результат «основная метрика» заносят в «паспорт основной метрики». Один сырой пример проверяет смысл анализа «основная метрика». Неясность получает отдельный статус «основная метрика».
-
Выбрать ближайший значимый исход. Шаг «основная метрика» уточняет компонент «единица анализа». Результат «основная метрика» заносят в «паспорт основной метрики». Один сырой пример проверяет смысл анализа «основная метрика». Неясность получает отдельный статус «основная метрика».
-
Определить субъект расчёта. Шаг «основная метрика» уточняет компонент «окно наблюдения». Результат «основная метрика» заносят в «паспорт основной метрики». Один сырой пример проверяет смысл анализа «основная метрика». Неясность получает отдельный статус «основная метрика».
-
Задать временное окно. Шаг «основная метрика» уточняет компонент «направление улучшения». Результат «основная метрика» заносят в «паспорт основной метрики». Один сырой пример проверяет смысл анализа «основная метрика». Неясность получает отдельный статус «основная метрика».
-
Установить полезный порог. Шаг «основная метрика» уточняет компонент «порог практической значимости». Результат «основная метрика» заносят в «паспорт основной метрики». Один сырой пример проверяет смысл анализа «основная метрика». Неясность получает отдельный статус «основная метрика».
-
Отделить диагностику от решения. Шаг «основная метрика» уточняет компонент «набор guardrails». Результат «основная метрика» заносят в «паспорт основной метрики». Один сырой пример проверяет смысл анализа «основная метрика». Неясность получает отдельный статус «основная метрика».
После шагов команда проводит review «основная метрика». Первоначальный вопрос «основная метрика» сохраняют неизменным.
Практический пример
В подписочном редакторе тестируют новый экран экспорта. Основной метрикой выбирают долю активных рабочих пространств, успешно завершивших экспорт в течение суток после открытия экрана. Количество кликов оставляют диагностикой, а ошибки файлов и обращения в поддержку — guardrails.
Пример оформляется через «паспорт основной метрики». Сначала записывается вопрос «основная метрика». Затем показываются исходные данные «основная метрика». Основная оценка сопровождается диапазоном «основная метрика». Ограничения стоят рядом с выводом «основная метрика».
Положительный знак не означает запуск «основная метрика». Величину сравнивают с полезным порогом «основная метрика». Цена ошибки влияет на действие «основная метрика». Неоднозначность сохраняется как неопределённость «основная метрика».
Основная страница показывает решение по теме «основная метрика». Запросы остаются приложением к «основная метрика». Такая структура сохраняет проверяемость «основная метрика». Обсуждение при этом остаётся продуктовым «основная метрика».
Ошибки интерпретации
Ошибки ниже меняют смысл анализа «основная метрика». Их исправляют до рекомендации «основная метрика».
-
Несколько равноправных основных метрик. Ошибка «основная метрика» затрагивает «целевой исход». Интерпретацию «основная метрика» временно останавливают. После исправления проверку по теме «основная метрика» повторяют. Влияние дефекта сохраняют в журнале «основная метрика».
-
Выбор самого быстро меняющегося показателя. Ошибка «основная метрика» затрагивает «единица анализа». Интерпретацию «основная метрика» временно останавливают. После исправления проверку по теме «основная метрика» повторяют. Влияние дефекта сохраняют в журнале «основная метрика».
-
Подмена результата активностью интерфейса. Ошибка «основная метрика» затрагивает «окно наблюдения». Интерпретацию «основная метрика» временно останавливают. После исправления проверку по теме «основная метрика» повторяют. Влияние дефекта сохраняют в журнале «основная метрика».
-
Игнорирование стоимости ухудшения. Ошибка «основная метрика» затрагивает «направление улучшения». Интерпретацию «основная метрика» временно останавливают. После исправления проверку по теме «основная метрика» повторяют. Влияние дефекта сохраняют в журнале «основная метрика».
-
Переключение метрики после запуска. Ошибка «основная метрика» затрагивает «порог практической значимости». Интерпретацию «основная метрика» временно останавливают. После исправления проверку по теме «основная метрика» повторяют. Влияние дефекта сохраняют в журнале «основная метрика».
Новая версия результата получает дату «основная метрика». Причина изменения остаётся видимой «основная метрика». Прошлое решение не переписывается задним числом «основная метрика».
Критерии качества
Материал «основная метрика» готов при совместном выполнении условий:
-
Метрика следует из причинного механизма. Критерий «основная метрика» проверяет «целевой исход». Другой аналитик воспроизводит результат анализа «основная метрика». Исключения «основная метрика» лежат рядом с решением. Устное подтверждение для темы «основная метрика» недостаточно.
-
Однозначно задан знаменатель. Критерий «основная метрика» проверяет «единица анализа». Другой аналитик воспроизводит результат анализа «основная метрика». Исключения «основная метрика» лежат рядом с решением. Устное подтверждение для темы «основная метрика» недостаточно.
-
Окно соответствует циклу поведения. Критерий «основная метрика» проверяет «окно наблюдения». Другой аналитик воспроизводит результат анализа «основная метрика». Исключения «основная метрика» лежат рядом с решением. Устное подтверждение для темы «основная метрика» недостаточно.
-
Направление эффекта определено. Критерий «основная метрика» проверяет «направление улучшения». Другой аналитик воспроизводит результат анализа «основная метрика». Исключения «основная метрика» лежат рядом с решением. Устное подтверждение для темы «основная метрика» недостаточно.
-
Порог полезности утверждён заранее. Критерий «основная метрика» проверяет «порог практической значимости». Другой аналитик воспроизводит результат анализа «основная метрика». Исключения «основная метрика» лежат рядом с решением. Устное подтверждение для темы «основная метрика» недостаточно.
-
Диагностические показатели не меняют победителя. Критерий «основная метрика» проверяет «набор guardrails». Другой аналитик воспроизводит результат анализа «основная метрика». Исключения «основная метрика» лежат рядом с решением. Устное подтверждение для темы «основная метрика» недостаточно.
Значимость не исправляет неверное событие «основная метрика». Точный запрос не укрепляет слабую причинность «основная метрика». Риск определяет глубину независимого review «основная метрика».
Ограничения применимости
Перед публикацией «основная метрика» проверяют следующие границы:
-
Не исправляет неверную гипотезу. Ограничение в теме «основная метрика» затрагивает компонент «целевой исход». Дополнительную проверку назначают для темы «основная метрика». За эту границу результат анализа «основная метрика» не переносят.
-
Может запаздывать при длинном цикле. Ограничение в теме «основная метрика» затрагивает компонент «единица анализа». Дополнительную проверку назначают для темы «основная метрика». За эту границу результат анализа «основная метрика» не переносят.
-
Требует устойчивого трекинга. Ограничение в теме «основная метрика» затрагивает компонент «окно наблюдения». Дополнительную проверку назначают для темы «основная метрика». За эту границу результат анализа «основная метрика» не переносят.
-
Не охватывает все побочные эффекты. Ограничение в теме «основная метрика» затрагивает компонент «направление улучшения». Дополнительную проверку назначают для темы «основная метрика». За эту границу результат анализа «основная метрика» не переносят.
-
Не заменяет качественное исследование причин. Ограничение в теме «основная метрика» затрагивает компонент «порог практической значимости». Дополнительную проверку назначают для темы «основная метрика». За эту границу результат анализа «основная метрика» не переносят.
Ограничение не всегда запрещает анализ «основная метрика». Оно может сузить аудиторию «основная метрика». Иногда меняется только формулировка «основная метрика». Явная неопределённость полезнее ложной точности «основная метрика».
Вывод
Практика «основная метрика» соединяет вопрос и действие. Единица анализа задаёт границу «основная метрика». Данные проверяются до интерпретации «основная метрика». Метод выбирается до просмотра эффекта «основная метрика».
Артефакт «паспорт основной метрики» хранит итог «основная метрика». Рядом находятся неопределённость и ограничения «основная метрика». Следующий шаг получает владельца «основная метрика». Дата контроля завершает решение «основная метрика».
Финальный вывод «основная метрика» помещается в одно предложение. Он не расширяется на другие аудитории «основная метрика». Недостаток данных называется прямо внутри «основная метрика».
