Вопросы на собеседовании: ML System Design

Как построить офлайн-метрику качества генерации текстов?

Расскажите про полный ML-пайплайн от сбора данных до инференса — какие этапы и инструменты использовали?

Есть ли опыт с оптимизацией инференса — TensorRT, квантизация и т.д.?

Какие инструменты используете для логирования экспериментов и версионирования моделей?

Есть ли у вас on-call дежурство? Как организован мониторинг сервисов?

Как работает индекс IVF (Inverted File Index) в библиотеке FAISS?

Обучение модели занимает 12 часов. Как искать узкое место и ускорить процесс?

Как обеспечить латентность inference ML-модели менее 100 мс?

Расскажите про ваш опыт с MLOps и деплоем моделей.

Как вы работали с ограничением размерности эмбеддингов (256) в OpenSearch?

Писали ли вы продакшн-код? Насколько был автоматизирован процесс деплоя?

Какие тесты вы писали для ML-модели (ассистента) и как оценивали качество?

Будут ли предрассчитанные скоры храниться в кэше, или инференс будет происходить во время запроса?

Решение, которое ты описываешь, это уже сложное решение, или это еще простое?

Оценить, сколько такое решение займет времени, если у нас команда из трех человек: два ML инженера и один back-end инженер.

Как ты думаешь, какие могут быть проблемы, которые на уровне самой архитектуры нужно предусмотреть?