Вопросы для подготовки к интервью

Есть ли у вас on-call дежурство? Как организован мониторинг сервисов?

Как работает индекс IVF (Inverted File Index) в библиотеке FAISS?

Обучение модели занимает 12 часов. Как искать узкое место и ускорить процесс?

Как обеспечить латентность inference ML-модели менее 100 мс?

Расскажите про ваш опыт с MLOps и деплоем моделей.

Как вы работали с ограничением размерности эмбеддингов (256) в OpenSearch?

Писали ли вы продакшн-код? Насколько был автоматизирован процесс деплоя?

Какие тесты вы писали для ML-модели (ассистента) и как оценивали качество?

Будут ли предрассчитанные скоры храниться в кэше, или инференс будет происходить во время запроса?

Решение, которое ты описываешь, это уже сложное решение, или это еще простое?

Оценить, сколько такое решение займет времени, если у нас команда из трех человек: два ML инженера и один back-end инженер.

Как ты думаешь, какие могут быть проблемы, которые на уровне самой архитектуры нужно предусмотреть?

Разработайте систему чат-бота, которая должна обрабатывать 1000 активных пользователей одновременно и отвечать на запросы за 2 секунды. Какую архитектуру вы бы предложили и какие технологии использовали бы?

Создайте систему для классификации документов, которая должна обрабатывать 1 миллион документов в неделю и иметь точность не менее 85%. Какие этапы вы включили бы в пайплайн и какие алгоритмы использовали?

Постройте систему для извлечения именованных сущностей (NER), которая должна работать с 10 000 текстов в день и иметь время ответа менее 1 секунды. Как вы обеспечите масштабируемость и надежность этой системы?

Разработайте систему поиска, которая должна поддерживать 500 QPS и обеспечивать как семантический, так и ключевой поиск. Какой подход вы выберете для интеграции этих двух типов поиска?

Создайте сервис для краткого изложения текстов, который должен обрабатывать 100 000 текстов в месяц и возвращать резюме длиной не более 150 слов. Какова будет ваша архитектура и технологии?

Постройте систему RAG (retrieval-augmented generation), которая должна обрабатывать 2000 пользовательских запросов в час и обеспечивать качество ответов не менее 90%. Как вы бы организовали хранилище данных и модели?

Разработайте систему для модерации контента, которая должна обрабатывать 1 миллион сообщений в день и иметь уровень ложных срабатываний менее 5%. Какие стратегии и алгоритмы вы бы применили?

Создайте систему для обслуживания больших языковых моделей (LLM), поддерживающую 100 QPS и имеющую время отклика не более 500 мс. Какие технологии и подходы вы бы использовали для достижения этих требований?