Вопросы для подготовки к интервью

Что такое A/A-тест и зачем он нужен?

В A/B-тесте 5 из 100 метрик статистически значимо положительны, остальные нейтральны. Выкатываем или нет?

Объясните разницу между ковариацией и корреляцией. Когда корреляция Пирсона может быть нулевой, но зависимость существует?

Что такое p-value? Может ли p-value = 0.03 означать, что вероятность верности нулевой гипотезы равна 3%?

Объясните Центральную Предельную Теорему (ЦПТ). Почему она важна для A/B тестов?

Как правильно рассчитать размер выборки для A/B теста? Какие параметры нужны и как они влияют на n?

Что такое bootstrap? Как с его помощью построить доверительный интервал? Когда bootstrap лучше аналитических формул?

В чём разница между байесовским и частотным подходами к A/B тестированию? Когда выбрать байесовский?

Вы проводите A/B тест. Конверсия в контроле 10%, вы хотите детектировать абсолютный прирост 0.5%. На третий день p-value = 0.03. Стоит ли останавливать тест?

Объясните парадокс Симпсона. Приведите пример из ML/аналитики, где игнорирование конфаундера приводит к неверным выводам.

Что такое доверительный интервал 95%? Корректно ли говорить "с вероятностью 95% истинное значение параметра лежит в этом интервале"?

Как оценить статистическую значимость в A/B тесте для ratio-метрик (например, revenue per user)? Почему t-test может быть некорректен?

Объясните задачу Монти Холла с точки зрения байесовского обновления. Обобщите на n дверей.

Объясните CUPED (Controlled-experiment Using Pre-Experiment Data). Выведите формулу для оптимального θ и покажите, на сколько уменьшается дисперсия.

Выведите формулу для апостериорного распределения при байесовском обновлении с нормальным likelihood и нормальным prior. Как это связано с ridge regression?

Как корректно провести A/B тест с множественными метриками (5+ KPIs)? Объясните проблему множественных сравнений и методы коррекции.

Объясните метод delta method для оценки дисперсии нелинейных функций от случайных величин. Приведите пример для ratio-метрики в A/B тесте.

В какой команде выводятся статистики по датафрейму?

Можешь сказать, в каком интервале будут находиться значения логарифмированной вероятности?

Можешь сказать, как мы можем рассчитать вероятность того, что тысячу раз подбросили и тысячу раз у нас выпал орел?