Тема «мощность теста» поддерживает конкретное продуктовое решение. Вопрос «мощность теста»: сколько наблюдений требуется, чтобы обнаружить полезный эффект с допустимыми рисками ошибок. Единица «мощность теста» — план объёма данных, связанный с эффектом, вариативностью и правилами теста. До расчёта по теме «мощность теста» фиксируют возможные действия. Неопределённый исход для темы «мощность теста» тоже считается результатом.
Задача и допустимый вывод
Решение по теме «мощность теста» формулируют заранее. Возможные действия по теме «мощность теста»: запуск, отказ, исследование, исправление данных. Каждому действию темы «мощность теста» назначают владельца. Срок пересмотра также фиксируется в теме «мощность теста».
Документ «расчёт мощности» фиксирует цену ошибки. В документе «расчёт мощности» различаются ложный запуск и пропуск эффекта. Последствия для темы «мощность теста» оценивают качественно. Высокий риск темы «мощность теста» требует независимой проверки.
statsmodels реализует расчёты мощности и размера выборки для нескольких классов статистических тестов. основание
NIST связывает требуемый размер выборки с величиной обнаруживаемого сдвига и рисками ошибок. основание
Статистическая мощность относится к вероятности обнаружить эффект при истинной альтернативе. основание
Надёжный экспериментальный анализ начинается с проверок, выполненных до запуска и до чтения результата. основание
Источники подтверждают основания для темы «мощность теста». Локальные пороги выбирает команда темы «мощность теста». Внутренние допущения отмечает «расчёт мощности». Их не приписывают источникам темы «мощность теста».
Конструкция метода
Артефакт «расчёт мощности» содержит шесть элементов. Вместе они описывают границы модели «мощность теста».
-
Базовый уровень метрики. Компонент темы «мощность теста»: граница темы «мощность теста». Связь «мощность теста» проверяют с элементом «минимально обнаруживаемый эффект». Пример включения для темы «мощность теста» записывают отдельно. Пример исключения уточняет границу темы «мощность теста».
-
Минимально обнаруживаемый эффект. Компонент темы «мощность теста»: граница темы «мощность теста». Связь «мощность теста» проверяют с элементом «уровень значимости». Пример включения для темы «мощность теста» записывают отдельно. Пример исключения уточняет границу темы «мощность теста».
-
Уровень значимости. Компонент темы «мощность теста»: допуск ложного сигнала. Связь «мощность теста» проверяют с элементом «желаемая мощность». Пример включения для темы «мощность теста» записывают отдельно. Пример исключения уточняет границу темы «мощность теста».
-
Желаемая мощность. Компонент темы «мощность теста»: граница темы «мощность теста». Связь «мощность теста» проверяют с элементом «соотношение групп». Пример включения для темы «мощность теста» записывают отдельно. Пример исключения уточняет границу темы «мощность теста».
-
Соотношение групп. Компонент темы «мощность теста»: граница темы «мощность теста». Связь «мощность теста» проверяют с элементом «единица рандомизации». Пример включения для темы «мощность теста» записывают отдельно. Пример исключения уточняет границу темы «мощность теста».
-
Единица рандомизации. Компонент темы «мощность теста»: граница темы «мощность теста». Связь «мощность теста» проверяют с элементом «базовый уровень метрики». Пример включения для темы «мощность теста» записывают отдельно. Пример исключения уточняет границу темы «мощность теста».
После заполнения модель «мощность теста» пересказывают простыми словами. Пересказ документа «расчёт мощности» называет субъект и событие. Период и исключения также учитываются в теме «мощность теста». Искажённый пересказ возвращает модель «мощность теста» на доработку.
Данные и временные границы
Паспорт «мощность теста» начинается с субъекта наблюдения. В задаче «мощность теста» пользователь и аккаунт дают разные знаменатели. Выбор субъекта для темы «мощность теста» следует продуктовой логике. Затем субъект «мощность теста» проверяется в сырых данных.
Источник времени для темы «мощность теста» указывают явно. Часовую зону фиксируют в определении «мощность теста». Дедупликацию данных темы «мощность теста» проверяют на реальных историях. Контрольный запрос повторяет агрегат «мощность теста». Расхождение останавливает интерпретацию «мощность теста». Исправление документируется в артефакте «расчёт мощности».
Порядок работы
Последовательность «мощность теста» переносит ошибки к началу. Каждый шаг оставляет проверяемый результат анализа «мощность теста».
-
Оценить базовый уровень. Шаг «мощность теста» уточняет компонент «базовый уровень метрики». Результат «мощность теста» заносят в «расчёт мощности». Один сырой пример проверяет смысл анализа «мощность теста». Неясность получает отдельный статус «мощность теста».
-
Согласовать полезный эффект. Шаг «мощность теста» уточняет компонент «минимально обнаруживаемый эффект». Результат «мощность теста» заносят в «расчёт мощности». Один сырой пример проверяет смысл анализа «мощность теста». Неясность получает отдельный статус «мощность теста».
-
Выбрать допустимую ошибку первого рода. Шаг «мощность теста» уточняет компонент «уровень значимости». Результат «мощность теста» заносят в «расчёт мощности». Один сырой пример проверяет смысл анализа «мощность теста». Неясность получает отдельный статус «мощность теста».
-
Назначить мощность. Шаг «мощность теста» уточняет компонент «желаемая мощность». Результат «мощность теста» заносят в «расчёт мощности». Один сырой пример проверяет смысл анализа «мощность теста». Неясность получает отдельный статус «мощность теста».
-
Учесть кластеризацию и дисперсию. Шаг «мощность теста» уточняет компонент «соотношение групп». Результат «мощность теста» заносят в «расчёт мощности». Один сырой пример проверяет смысл анализа «мощность теста». Неясность получает отдельный статус «мощность теста».
-
Перевести объём в календарный срок. Шаг «мощность теста» уточняет компонент «единица рандомизации». Результат «мощность теста» заносят в «расчёт мощности». Один сырой пример проверяет смысл анализа «мощность теста». Неясность получает отдельный статус «мощность теста».
После шагов команда проводит review «мощность теста». Первоначальный вопрос «мощность теста» сохраняют неизменным.
Практический пример
Маркетплейс проверяет изменение формы заявки. Базовая конверсия аккаунтов — предмет исторической оценки, а единицей рандомизации остаётся аккаунт, хотя один аккаунт может создать несколько заявок. Команда рассчитывает объём для согласованного минимального эффекта и затем проверяет, помещается ли тест в один стабильный бизнес-цикл.
Пример оформляется через «расчёт мощности». Сначала записывается вопрос «мощность теста». Затем показываются исходные данные «мощность теста». Основная оценка сопровождается диапазоном «мощность теста». Ограничения стоят рядом с выводом «мощность теста».
Положительный знак не означает запуск «мощность теста». Величину сравнивают с полезным порогом «мощность теста». Основная страница показывает решение по теме «мощность теста». Запросы остаются приложением к «мощность теста». Такая структура сохраняет проверяемость «мощность теста». Обсуждение при этом остаётся продуктовым «мощность теста».
Ошибки интерпретации
Ошибки ниже меняют смысл анализа «мощность теста». Их исправляют до рекомендации «мощность теста».
-
Расчёт по числу событий вместо независимых единиц. Ошибка «мощность теста» затрагивает «базовый уровень метрики». Интерпретацию «мощность теста» временно останавливают. После исправления проверку по теме «мощность теста» повторяют. Влияние дефекта сохраняют в журнале «мощность теста».
-
Слишком малый mde ради привлекательного плана. Ошибка «мощность теста» затрагивает «минимально обнаруживаемый эффект». Интерпретацию «мощность теста» временно останавливают. После исправления проверку по теме «мощность теста» повторяют. Влияние дефекта сохраняют в журнале «мощность теста».
-
Игнорирование сезонности. Ошибка «мощность теста» затрагивает «уровень значимости». Интерпретацию «мощность теста» временно останавливают. После исправления проверку по теме «мощность теста» повторяют. Влияние дефекта сохраняют в журнале «мощность теста».
-
Подстановка нестабильной дисперсии. Ошибка «мощность теста» затрагивает «желаемая мощность». Интерпретацию «мощность теста» временно останавливают. После исправления проверку по теме «мощность теста» повторяют. Влияние дефекта сохраняют в журнале «мощность теста».
-
Округление срока без учёта трафика по сегментам. Ошибка «мощность теста» затрагивает «соотношение групп». Интерпретацию «мощность теста» временно останавливают. После исправления проверку по теме «мощность теста» повторяют. Влияние дефекта сохраняют в журнале «мощность теста».
Новая версия результата получает дату «мощность теста».
Критерии качества
Материал «мощность теста» готов при совместном выполнении условий:
-
Использована независимая единица. Критерий «мощность теста» проверяет «базовый уровень метрики». Другой аналитик воспроизводит результат анализа «мощность теста». Исключения «мощность теста» лежат рядом с решением. Устное подтверждение для темы «мощность теста» недостаточно.
-
Базовый уровень подтверждён данными. Критерий «мощность теста» проверяет «минимально обнаруживаемый эффект». Другой аналитик воспроизводит результат анализа «мощность теста». Исключения «мощность теста» лежат рядом с решением. Устное подтверждение для темы «мощность теста» недостаточно.
-
Mde имеет практический смысл. Критерий «мощность теста» проверяет «уровень значимости». Другой аналитик воспроизводит результат анализа «мощность теста». Исключения «мощность теста» лежат рядом с решением. Устное подтверждение для темы «мощность теста» недостаточно.
-
Alpha и power записаны до запуска. Критерий «мощность теста» проверяет «желаемая мощность». Другой аналитик воспроизводит результат анализа «мощность теста». Исключения «мощность теста» лежат рядом с решением. Устное подтверждение для темы «мощность теста» недостаточно.
-
Учтено неравное распределение. Критерий «мощность теста» проверяет «соотношение групп». Другой аналитик воспроизводит результат анализа «мощность теста». Исключения «мощность теста» лежат рядом с решением. Устное подтверждение для темы «мощность теста» недостаточно.
-
Срок не пересекает критическую смену условий. Критерий «мощность теста» проверяет «единица рандомизации». Другой аналитик воспроизводит результат анализа «мощность теста». Исключения «мощность теста» лежат рядом с решением. Устное подтверждение для темы «мощность теста» недостаточно.
Значимость не исправляет неверное событие «мощность теста». Точный запрос не укрепляет слабую причинность «мощность теста». Риск определяет глубину независимого review «мощность теста».
Ограничения применимости
Перед публикацией «мощность теста» проверяют следующие границы:
-
Расчёт зависит от предположений о дисперсии. Ограничение в теме «мощность теста» затрагивает компонент «базовый уровень метрики». Дополнительную проверку назначают для темы «мощность теста». За эту границу результат анализа «мощность теста» не переносят.
-
Редкие метрики требуют большого трафика. Ограничение в теме «мощность теста» затрагивает компонент «минимально обнаруживаемый эффект». Дополнительную проверку назначают для темы «мощность теста». За эту границу результат анализа «мощность теста» не переносят.
-
Кластерные эффекты увеличивают объём. Ограничение в теме «мощность теста» затрагивает компонент «уровень значимости». Дополнительную проверку назначают для темы «мощность теста». За эту границу результат анализа «мощность теста» не переносят.
-
Множественные сравнения меняют требования. Ограничение в теме «мощность теста» затрагивает компонент «желаемая мощность». Дополнительную проверку назначают для темы «мощность теста». За эту границу результат анализа «мощность теста» не переносят.
-
Изменение продукта во время теста нарушает план. Ограничение в теме «мощность теста» затрагивает компонент «соотношение групп». Дополнительную проверку назначают для темы «мощность теста». За эту границу результат анализа «мощность теста» не переносят.
Ограничение не всегда запрещает анализ «мощность теста». Оно может сузить аудиторию «мощность теста». Иногда меняется только формулировка «мощность теста». Явная неопределённость полезнее ложной точности «мощность теста».
Вывод
Практика «мощность теста» соединяет вопрос и действие. Единица анализа задаёт границу «мощность теста». Данные проверяются до интерпретации «мощность теста». Метод выбирается до просмотра эффекта «мощность теста».
Артефакт «расчёт мощности» хранит итог «мощность теста». Рядом находятся неопределённость и ограничения «мощность теста». Следующий шаг получает владельца «мощность теста». Дата контроля завершает решение «мощность теста».
Финальный вывод «мощность теста» помещается в одно предложение. Он не расширяется на другие аудитории «мощность теста». Недостаток данных называется прямо внутри «мощность теста».
