Банк вопросов
Вопросы на собеседовании: Data Engineering
Конвейер данных должен сохранять смысл событий при повторах, задержках и сбоях. Обсудите загрузку, преобразование, хранение и проверку качества. Для каждого шага объясните, как заметить ошибку и восстановить корректный результат.
Показано 20 из 30 вопросов
Какую инфраструктуру для обучения моделей вы использовали — внутренние кластеры или облачные сервисы?
Был ли у вас опыт построения ML pipeline для обучения нейросетей?
Есть ли у вас опыт работы с FastAPI и написания REST API?
Есть ли у вас опыт работы с Big Data стеком (Hadoop, Spark, PySpark)?
Дан CSV с биржевыми сделками (timestamp, volume). Найдите временные интервалы с наибольшим объёмом торгов. Как определить оптимальный размер окна?
Файл с биржевыми сделками не помещается в RAM. Как найти интервал максимального объёма за один проход?
Есть поток биржевых пакетов с временем отправки и получения. Как обнаружить аномалии в задержках?
Какие объёмы данных и время обучения моделей? Опыт с параллелизмом?
Какой у вас опыт работы с Hadoop/Spark/MapReduce?
Расскажите про опыт с PySpark и распределёнными вычислениями. Как работает MapReduce?
Как мы хотим разобраться в паттернах, в данных?
Какие метрики бы предложили для оценки дрифта данных? И для вторичной валидации моделей каждый раз бы их использовали?
И какие риски мы можем переобучить на каких-то форты данных?
Под что может больше строковые базы данных пригодиться?
А уверенность, это что за такая штука такая? Как ее добыть из данных?
а есть какая-то структура данных, которая может, в принципе, тоже достаточно быстро искать, но при этом в отсортированном виде быстро получать последовательность?
Как бороться с аномалиями в данных при обучении?
А у вас на счет данных получается как-то Бигдад используется?
На какие виды можно разделить типа данных в питании?
Подготовьтесь к следующему интервью с Vibe Interview.
Скачать Vibe Interview