Вопросы для подготовки к интервью

Разработайте архитектуру CI/CD для развертывания моделей машинного обучения. Система должна поддерживать 20 развертываний в день и иметь возможность отката к предыдущей версии модели в течение 15 минут. Бюджет не должен превышать 3000 долларов в месяц.

Создайте систему активного обучения, которая будет работать с набором данных объемом 10 ТБ. Система должна выбирать 1% данных для разметки каждый день и иметь возможность обрабатывать запросы с задержкой не более 200 мс. Команда состоит из 5 человек.

Разработайте систему для развертывания моделей машинного обучения с поддержкой пакетной обработки. Система должна обрабатывать 100 000 запросов в день с задержкой не более 1 часа и обеспечивать возможность обновления моделей не реже одного раза в неделю.

Создайте систему для хранения и управления моделями машинного обучения с использованием реестра моделей. Система должна поддерживать до 500 моделей и обеспечивать доступ к метаданным моделей с задержкой не более 5 секунд.

Разработайте систему, которая будет отслеживать концептуальное смещение в моделях машинного обучения. Система должна обрабатывать 2 миллиона прогнозов в день и отправлять оповещения при обнаружении смещения с задержкой не более 30 минут. Бюджет составляет 4000 долларов в месяц.

Создайте систему, которая будет обрабатывать запросы на ранжирование в реальном времени для 500 000 пользователей одновременно. Система должна обеспечивать задержку не более 200 мс и иметь возможность динамического добавления новых фичей без остановки сервиса.

Спроектируйте систему, которая будет служить хранилищем признаков для модели машинного обучения, способной обрабатывать данные от 1 миллиона пользователей в день. Хранилище должно поддерживать версионирование признаков и обеспечивать доступ к данным с задержкой менее 100 мс. Как вы бы организовали архитектуру хранилища, учитывая эти требования?

Разработайте систему для обучения модели машинного обучения с объемом данных 10 ТБ, которая должна быть разметкой в реальном времени. Система должна позволять 50 запросов в секунду на аннотацию данных. Каковы будут основные компоненты этой системы и как вы будете управлять нагрузкой?

Вы должны построить инфраструктуру A/B тестирования для модели, которая будет обслуживать 10 000 пользователей одновременно и сможет обрабатывать до 2000 запросов в минуту. Как вы организуете коллекцию и анализ данных, а также обеспечите корректное распределение трафика между вариантами?

Спроектируйте систему мониторинга для модели машинного обучения, которая будет отслеживать как дрейф данных, так и концептуальный дрейф. Система должна обрабатывать данные в реальном времени и выдавать оповещения с задержкой не более 5 минут. Каковы будут ключевые метрики, которые вы будете отслеживать?

Разработайте систему для отслеживания экспериментов с использованием MLflow для команды из 5 человек. Система должна поддерживать до 100 экспериментов в месяц и обеспечивать интеграцию с CI/CD процессами. Как вы организуете структуру данных и какие метрики будете хранить?

Вам нужно создать модельный реестр для команды из 10 исследователей. В реестре должно храниться не менее 200 моделей, и он должен обеспечивать доступ к моделям с задержкой не более 200 мс. Как вы будете управлять версионированием моделей и обеспечивать безопасность доступа?

Спроектируйте систему CI/CD для ML, которая должна обрабатывать 5 новых моделей в неделю и обеспечивать автоматическую развертку и тестирование. Команда состоит из 8 человек. Как вы структурируете процесс развертывания и какие инструменты будете использовать?

Разработайте систему активного обучения для модели, которая будет использоваться в аналитике с ежедневным объемом данных в 1 ТБ. Система должна уметь выбирать 20% наиболее информативных примеров для аннотации. Как вы будете оценивать эффективность активного обучения?

Спроектируйте пакетную систему обслуживания модели, способную обрабатывать 1 миллион запросов в день с задержкой не более 1 секунды. Система должна уметь обрабатывать разные версии модели и обеспечивать мониторинг производительности. Каковы будут ключевые компоненты вашей системы?

Разработайте систему, которая будет интегрировать данные из нескольких источников и обеспечивать их предобработку для обучения моделей. Объем данных доходит до 500 ГБ в день. Как вы планируете организовать этот процесс, учитывая ограничения по времени обработки и необходимые данные для обучения?

Разработайте систему, которая будет управлять хранением и версионированием признаков (feature store) для модели машинного обучения. Учитывайте, что у вас есть 5 миллионов пользователей, и вы получаете 1000 запросов в секунду на доступ к признакам. Какие основные компоненты вам понадобятся для этого, и какие будут ключевые ограничения по времени отклика?

Вы должны построить систему для A/B тестирования новой модели машинного обучения, которая будет использоваться на 2 миллионах пользователей с ежедневным трафиком в 10 миллионов запросов. Как вы будете организовывать сбор и анализ данных, чтобы обеспечить надёжность результатов тестирования? Какие метрики вы будете использовать?

Разработайте систему мониторинга для модели машинного обучения, которая будет отслеживать концептуальный дрейф и дрейф данных. Учитывая, что модель обрабатывает 5000 запросов в минуту и используется в нескольких регионах, как вы будете выполнять мониторинг и оповещения? Какие инструменты вы будете использовать?

Вам нужно создать систему для регистрации и отслеживания экспериментов в машинном обучении. Система должна поддерживать 1000 активных пользователй и 200 экспериментов одновременно. Как вы будете реализовывать версионирование моделей и хранение метаданных об экспериментах? Какие технологии вы бы использовали?