Выбор основной метрики эксперимента
Практический разбор темы «выбор основной метрики эксперимента»: как назначить один главный результат и ограниченный набор защитных показателей и применить это в рабочем продукте.
Тег · 8 материалов
#эксперименты
Материалы из разных направлений, связанные одной рабочей практикой.
Как анализировать неоднородный эффект эксперимента
Практический разбор темы «как анализировать неоднородный эффект эксперимента»: как исследовать различия между сегментами без бесконтрольного поиска значимости и применить это в рабочем продукте.
Как интерпретировать нулевой результат эксперимента
Практический разбор темы «как интерпретировать нулевой результат эксперимента»: как отделить отсутствие эффекта от недостатка мощности или ошибки реализации и применить это в рабочем продукте.
Как сформулировать гипотезу A/B-теста
Практический разбор темы «как сформулировать гипотезу a/b-теста»: как связать изменение, аудиторию, механизм влияния и ожидаемую метрику и применить это в рабочем продукте.
Почему ранняя остановка A/B-теста искажает вывод
Практический разбор темы «почему ранняя остановка a/b-теста искажает вывод»: как понять риск многократного просмотра и правила корректного завершения и применить это в рабочем продукте.
Размер выборки и мощность продуктового эксперимента
Практический разбор темы «размер выборки и мощность продуктового эксперимента»: как оценить необходимый объём наблюдений и минимальный обнаруживаемый эффект и применить это в рабочем продукте.
Реестр экспериментов и накопление знаний
Практический разбор темы «реестр экспериментов и накопление знаний»: как сохранять гипотезы, дизайн, результаты и повторное использование выводов и применить это в рабочем продукте.
Эксперименты при малом трафике
Практический разбор темы «эксперименты при малом трафике»: как выбрать более сильный сигнал, длинный горизонт или альтернативный дизайн и применить это в рабочем продукте.