Вопросы на собеседовании: Математика и статистика

Что такое доверительный интервал 95%? Корректно ли говорить "с вероятностью 95% истинное значение параметра лежит в этом интервале"?

Как оценить статистическую значимость в A/B тесте для ratio-метрик (например, revenue per user)? Почему t-test может быть некорректен?

Объясните задачу Монти Холла с точки зрения байесовского обновления. Обобщите на n дверей.

Объясните CUPED (Controlled-experiment Using Pre-Experiment Data). Выведите формулу для оптимального θ и покажите, на сколько уменьшается дисперсия.

Выведите формулу для апостериорного распределения при байесовском обновлении с нормальным likelihood и нормальным prior. Как это связано с ridge regression?

Как корректно провести A/B тест с множественными метриками (5+ KPIs)? Объясните проблему множественных сравнений и методы коррекции.

Объясните метод delta method для оценки дисперсии нелинейных функций от случайных величин. Приведите пример для ratio-метрики в A/B тесте.

В какой команде выводятся статистики по датафрейму?

Можешь сказать, в каком интервале будут находиться значения логарифмированной вероятности?

Можешь сказать, как мы можем рассчитать вероятность того, что тысячу раз подбросили и тысячу раз у нас выпал орел?

Можешь, пожалуйста, поделиться своим опытом с AB-тестированием?

Знаешь, что такое AATest? И почему нам нужен AATest?

Теоретический вопрос: скажем, у нас есть A-B тест, и после двух недель мы видим, что 5 из 100 рандомных метриков статистически значимы. Должны ли мы изменить эту новую версию или нет, и почему?

а вы какой-то ABT-тест проводили, ты говоришь, что просто разделили модель, то есть как дизайнили ABT-ст?

Как рассчитать размер тестовой группы для A/B теста?