Вопросы на собеседовании: ML System Design

Разработайте систему, которая будет собирать и хранить фичи для модели машинного обучения. Убедитесь, что система может обрабатывать 10 миллионов записей в день и должна обеспечивать доступ к фичам с задержкой не более 100 мс. Команда состоит из 3-х человек.

Создайте систему для мониторинга и оповещения о смещении данных. Система должна обрабатывать данные в реальном времени с объемом 1 миллиона событий в день и должна отправлять оповещения в случае обнаружения смещения с задержкой не более 5 минут. Бюджет составляет 5000 долларов в месяц.

Разработайте систему для отслеживания экспериментов с использованием MLflow. Система должна поддерживать до 1000 параллельных экспериментов с общей базой данных размером до 500 ГБ и должна обеспечивать доступ к результатам с задержкой не более 10 секунд.

Создайте систему для A/B тестирования, способную обрабатывать 5 миллионов запросов в день с двумя группами пользователей. Система должна собирать и анализировать данные о пользовательском взаимодействии с задержкой не более 1 часа и должна обеспечивать возможность динамической настройки тестов.

Разработайте архитектуру CI/CD для развертывания моделей машинного обучения. Система должна поддерживать 20 развертываний в день и иметь возможность отката к предыдущей версии модели в течение 15 минут. Бюджет не должен превышать 3000 долларов в месяц.

Создайте систему активного обучения, которая будет работать с набором данных объемом 10 ТБ. Система должна выбирать 1% данных для разметки каждый день и иметь возможность обрабатывать запросы с задержкой не более 200 мс. Команда состоит из 5 человек.

Разработайте систему для развертывания моделей машинного обучения с поддержкой пакетной обработки. Система должна обрабатывать 100 000 запросов в день с задержкой не более 1 часа и обеспечивать возможность обновления моделей не реже одного раза в неделю.

Создайте систему для хранения и управления моделями машинного обучения с использованием реестра моделей. Система должна поддерживать до 500 моделей и обеспечивать доступ к метаданным моделей с задержкой не более 5 секунд.

Разработайте систему, которая будет отслеживать концептуальное смещение в моделях машинного обучения. Система должна обрабатывать 2 миллиона прогнозов в день и отправлять оповещения при обнаружении смещения с задержкой не более 30 минут. Бюджет составляет 4000 долларов в месяц.

Создайте систему, которая будет обрабатывать запросы на ранжирование в реальном времени для 500 000 пользователей одновременно. Система должна обеспечивать задержку не более 200 мс и иметь возможность динамического добавления новых фичей без остановки сервиса.

Спроектируйте систему, которая будет служить хранилищем признаков для модели машинного обучения, способной обрабатывать данные от 1 миллиона пользователей в день. Хранилище должно поддерживать версионирование признаков и обеспечивать доступ к данным с задержкой менее 100 мс. Как вы бы организовали архитектуру хранилища, учитывая эти требования?

Разработайте систему для обучения модели машинного обучения с объемом данных 10 ТБ, которая должна быть разметкой в реальном времени. Система должна позволять 50 запросов в секунду на аннотацию данных. Каковы будут основные компоненты этой системы и как вы будете управлять нагрузкой?

Вы должны построить инфраструктуру A/B тестирования для модели, которая будет обслуживать 10 000 пользователей одновременно и сможет обрабатывать до 2000 запросов в минуту. Как вы организуете коллекцию и анализ данных, а также обеспечите корректное распределение трафика между вариантами?

Спроектируйте систему мониторинга для модели машинного обучения, которая будет отслеживать как дрейф данных, так и концептуальный дрейф. Система должна обрабатывать данные в реальном времени и выдавать оповещения с задержкой не более 5 минут. Каковы будут ключевые метрики, которые вы будете отслеживать?

Разработайте систему для отслеживания экспериментов с использованием MLflow для команды из 5 человек. Система должна поддерживать до 100 экспериментов в месяц и обеспечивать интеграцию с CI/CD процессами. Как вы организуете структуру данных и какие метрики будете хранить?

Вам нужно создать модельный реестр для команды из 10 исследователей. В реестре должно храниться не менее 200 моделей, и он должен обеспечивать доступ к моделям с задержкой не более 200 мс. Как вы будете управлять версионированием моделей и обеспечивать безопасность доступа?

Спроектируйте систему CI/CD для ML, которая должна обрабатывать 5 новых моделей в неделю и обеспечивать автоматическую развертку и тестирование. Команда состоит из 8 человек. Как вы структурируете процесс развертывания и какие инструменты будете использовать?

Разработайте систему активного обучения для модели, которая будет использоваться в аналитике с ежедневным объемом данных в 1 ТБ. Система должна уметь выбирать 20% наиболее информативных примеров для аннотации. Как вы будете оценивать эффективность активного обучения?

Спроектируйте пакетную систему обслуживания модели, способную обрабатывать 1 миллион запросов в день с задержкой не более 1 секунды. Система должна уметь обрабатывать разные версии модели и обеспечивать мониторинг производительности. Каковы будут ключевые компоненты вашей системы?

Разработайте систему, которая будет интегрировать данные из нескольких источников и обеспечивать их предобработку для обучения моделей. Объем данных доходит до 500 ГБ в день. Как вы планируете организовать этот процесс, учитывая ограничения по времени обработки и необходимые данные для обучения?