Вопросы для подготовки к интервью

Расскажите подробнее про обучение эмбеддинг-модели: архитектура, данные, метрики.

Какие аугментации использовали при обучении визуальной модели?

А как модели распознать физически, что картинки одинаковые?

Ты говорил, я насколько услышал, есть ли задачи по опыту компьютер-вижен на видео и задачи более стандартные?

Что касаемо задач и проектов, которые связаны с EVE?

Как я понял, у нас есть модель для первого лица, да? Или нет?

То есть задача пикселизации видео, как я понимаю, да?

То есть от первого лица есть, от третьего нет. От первого лица, я так понял, это сферические видео, да?

Как реализовать конвертацию 2D видео в 3D с использованием depth estimation и проекций?

Как реализовать систему AI Editor для автоматической обработки видео модераторами?

Как автоматически нарезать VR-видео на короткие сегменты для TikTok?

Дальше, следующая задача. Это задача Outpaint. Это задача для того, чтобы дорисовывать видео до сферического видео. То есть у нас есть видео с маленьким Field of View. Хотели бы дорисовать там до 180 градусов. Задача интересная, но задача сильно исследовательская. Потому что здесь не сделано ничего, но есть представление о том, как это делать. Я писал когда-то Open Source для этой задачи, выложил проект, там даже неплохо он звездочек набирает и так далее. В общем, люди пользуются, но подходы есть. То есть мы берем видео и дорисовываем. Но это все базируется на Open Source видео-генераторах.

Есть задача Six Degrees of Freedom, движение в видео. Здесь эта задача в основном ресерч. Не сделано практически ничего. У нас есть контракт с какими-то китайскими исследовательскими группой, которая занимается сплатингами для видео. Для них сейчас построили даже студию в Лос-Анджелесе, чтобы они снимали видео там сотнями камер со всех сторон. И они даже наснимали там какое-то количество контента. Но это все не очень масштабируемо. В общем, хотелось бы покопаться в эту задачу. В идеале придумать как из видео обычного, с двух камер, сделать видео-волюметрик, которым можно походить. Эта задача очень трудоемкая, очень не гарантированная. Она сложная, трудоемкая, не гарантированная. То есть очень много ресерча нужно здесь делать. И в приоритетах она стоит собственно из-за того, что результат не гарантирован, не очень высоко. Хотя мне действительно было бы очень интересно этим заниматься.

А еще что сам алгоритм детектил? Типа какие-то ошибки в картинках?

Как вы работаете с NSFS составляющей в вашем продукте?

Можем какую-то информацию дополнительную из текста и картинок вытащить?

Разработайте систему, которая будет собирать и хранить фичи для модели машинного обучения. Убедитесь, что система может обрабатывать 10 миллионов записей в день и должна обеспечивать доступ к фичам с задержкой не более 100 мс. Команда состоит из 3-х человек.

Создайте систему для мониторинга и оповещения о смещении данных. Система должна обрабатывать данные в реальном времени с объемом 1 миллиона событий в день и должна отправлять оповещения в случае обнаружения смещения с задержкой не более 5 минут. Бюджет составляет 5000 долларов в месяц.

Разработайте систему для отслеживания экспериментов с использованием MLflow. Система должна поддерживать до 1000 параллельных экспериментов с общей базой данных размером до 500 ГБ и должна обеспечивать доступ к результатам с задержкой не более 10 секунд.

Создайте систему для A/B тестирования, способную обрабатывать 5 миллионов запросов в день с двумя группами пользователей. Система должна собирать и анализировать данные о пользовательском взаимодействии с задержкой не более 1 часа и должна обеспечивать возможность динамической настройки тестов.