Вопросы для подготовки к интервью

Можешь, пожалуйста, поделиться своим опытом с AB-тестированием?

Знаешь, что такое AATest? И почему нам нужен AATest?

Теоретический вопрос: скажем, у нас есть A-B тест, и после двух недель мы видим, что 5 из 100 рандомных метриков статистически значимы. Должны ли мы изменить эту новую версию или нет, и почему?

а вы какой-то ABT-тест проводили, ты говоришь, что просто разделили модель, то есть как дизайнили ABT-ст?

Как рассчитать размер тестовой группы для A/B теста?

Какую инфраструктуру для обучения моделей вы использовали — внутренние кластеры или облачные сервисы?

Был ли у вас опыт построения ML pipeline для обучения нейросетей?

Есть ли у вас опыт работы с FastAPI и написания REST API?

Есть ли у вас опыт работы с Big Data стеком (Hadoop, Spark, PySpark)?

Дан CSV с биржевыми сделками (timestamp, volume). Найдите временные интервалы с наибольшим объёмом торгов. Как определить оптимальный размер окна?

Файл с биржевыми сделками не помещается в RAM. Как найти интервал максимального объёма за один проход?

Есть поток биржевых пакетов с временем отправки и получения. Как обнаружить аномалии в задержках?

Какие объёмы данных и время обучения моделей? Опыт с параллелизмом?

Какой у вас опыт работы с Hadoop/Spark/MapReduce?

Расскажите про опыт с PySpark и распределёнными вычислениями. Как работает MapReduce?

Как мы хотим разобраться в паттернах, в данных?

Какие метрики бы предложили для оценки дрифта данных? И для вторичной валидации моделей каждый раз бы их использовали?

И какие риски мы можем переобучить на каких-то форты данных?

Под что может больше строковые базы данных пригодиться?

А уверенность, это что за такая штука такая? Как ее добыть из данных?