Вопросы для подготовки к интервью

Разработайте архитектуру для CI/CD процесса в проекте машинного обучения, который включает в себя 10 разработчиков и 5 моделей, работающих в реальном времени. Как вы обеспечите автоматизацию тестирования и развертывания моделей? Какие принципы DevOps вы будете применять?

Разработайте систему активного обучения для модели, которая должна обрабатывать данные объемом 1 терабайт в день с необходимостью пометить 10% данных. Как вы будете организовывать процесс разметки, учитывая, что у вас есть ограниченный бюджет и команда из 5 аннотаторов?

Вам нужно построить систему развертывания для модели машинного обучения, которая будет обеспечивать обработку 2000 запросов в секунду с задержкой не более 200 миллисекунд. Как вы будете подходить к выбору между пакетным и реальным временем для развертывания? Какие архитектурные решения вы предложите?

Разработайте систему для хранения и обработки метаданных о моделях машинного обучения. Учитывая, что у вас будет 50 различных моделей и 1000 записей метаданных для каждой модели, как вы будете обеспечивать доступность и производительность системы? Какую базу данных вы бы использовали?

Вы должны построить систему, которая отслеживает изменения в данных, используемых для обучения моделей. Учитывая, что в системе будет 5 различных источников данных, каким образом вы будете организовывать процесс мониторинга и оповещения о дрейфе данных? Какие технологии вы будете использовать для анализа и визуализации?

Разработайте систему, которая будет отслеживать и предупреждать о дрейфе данных и концепции в модели машинного обучения. У вас ограничение по бюджету в $100,000 в год, и система должна обрабатывать 10 миллионов записей в месяц. Время отклика на тревоги не должно превышать 5 минут.

Как бы вы спроектировали систему рекомендации видео для e-commerce платформы?

Как вывести ML-модель рекомендаций в продакшн?

Как спроектировать систему антифрод-детекции?

Как спроектировать антифрод для банковских транзакций?

Как происходит деплой ML-модели в продакшн?

Как закодировать товар с 7000 разнородными атрибутами для нейросетевой модели рекомендаций?

Как построить эмбеддинг пользователя на основе его последовательности действий?

Как объединить эмбеддинги пользователя и товара для предсказания релевантности?

Как оптимизировать тяжёлую модель рекомендаций для продакшн-инференса?

Как бы вы строили систему генерации текстовых описаний для карточек товаров при запуске в новой стране (Китай)?

Как построить офлайн-метрику качества генерации текстов?

Расскажите про полный ML-пайплайн от сбора данных до инференса — какие этапы и инструменты использовали?

Есть ли опыт с оптимизацией инференса — TensorRT, квантизация и т.д.?

Какие инструменты используете для логирования экспериментов и версионирования моделей?