Вопросы на собеседовании: ML System Design

Разработайте систему, которая будет управлять хранением и версионированием признаков (feature store) для модели машинного обучения. Учитывайте, что у вас есть 5 миллионов пользователей, и вы получаете 1000 запросов в секунду на доступ к признакам. Какие основные компоненты вам понадобятся для этого, и какие будут ключевые ограничения по времени отклика?

Вы должны построить систему для A/B тестирования новой модели машинного обучения, которая будет использоваться на 2 миллионах пользователей с ежедневным трафиком в 10 миллионов запросов. Как вы будете организовывать сбор и анализ данных, чтобы обеспечить надёжность результатов тестирования? Какие метрики вы будете использовать?

Разработайте систему мониторинга для модели машинного обучения, которая будет отслеживать концептуальный дрейф и дрейф данных. Учитывая, что модель обрабатывает 5000 запросов в минуту и используется в нескольких регионах, как вы будете выполнять мониторинг и оповещения? Какие инструменты вы будете использовать?

Вам нужно создать систему для регистрации и отслеживания экспериментов в машинном обучении. Система должна поддерживать 1000 активных пользователй и 200 экспериментов одновременно. Как вы будете реализовывать версионирование моделей и хранение метаданных об экспериментах? Какие технологии вы бы использовали?

Разработайте архитектуру для CI/CD процесса в проекте машинного обучения, который включает в себя 10 разработчиков и 5 моделей, работающих в реальном времени. Как вы обеспечите автоматизацию тестирования и развертывания моделей? Какие принципы DevOps вы будете применять?

Разработайте систему активного обучения для модели, которая должна обрабатывать данные объемом 1 терабайт в день с необходимостью пометить 10% данных. Как вы будете организовывать процесс разметки, учитывая, что у вас есть ограниченный бюджет и команда из 5 аннотаторов?

Вам нужно построить систему развертывания для модели машинного обучения, которая будет обеспечивать обработку 2000 запросов в секунду с задержкой не более 200 миллисекунд. Как вы будете подходить к выбору между пакетным и реальным временем для развертывания? Какие архитектурные решения вы предложите?

Разработайте систему для хранения и обработки метаданных о моделях машинного обучения. Учитывая, что у вас будет 50 различных моделей и 1000 записей метаданных для каждой модели, как вы будете обеспечивать доступность и производительность системы? Какую базу данных вы бы использовали?

Вы должны построить систему, которая отслеживает изменения в данных, используемых для обучения моделей. Учитывая, что в системе будет 5 различных источников данных, каким образом вы будете организовывать процесс мониторинга и оповещения о дрейфе данных? Какие технологии вы будете использовать для анализа и визуализации?

Разработайте систему, которая будет отслеживать и предупреждать о дрейфе данных и концепции в модели машинного обучения. У вас ограничение по бюджету в $100,000 в год, и система должна обрабатывать 10 миллионов записей в месяц. Время отклика на тревоги не должно превышать 5 минут.

Как бы вы спроектировали систему рекомендации видео для e-commerce платформы?

Как вывести ML-модель рекомендаций в продакшн?

Как спроектировать систему антифрод-детекции?

Как спроектировать антифрод для банковских транзакций?

Как происходит деплой ML-модели в продакшн?

Как закодировать товар с 7000 разнородными атрибутами для нейросетевой модели рекомендаций?

Как построить эмбеддинг пользователя на основе его последовательности действий?

Как объединить эмбеддинги пользователя и товара для предсказания релевантности?

Как оптимизировать тяжёлую модель рекомендаций для продакшн-инференса?

Как бы вы строили систему генерации текстовых описаний для карточек товаров при запуске в новой стране (Китай)?