Вопросы для подготовки к интервью

Расскажите подробно про ваш кейс реализации AI-агента (RAG-системы).

Сейчас. Ты говорил, что работал с VLM. Зачем вообще он нужен, если есть точку Generate с Transformers?

Почему Word2vec, а не BERT какой-нибудь?

Можешь сказать, что из себя представляет эмбейдинг и почему он нам интересен в контексте языковой модели?

Ну, не знаю, какой-нибудь BERT дистиллированный, то есть, там, где имбеддинг небольшой на выходе получается, там, где там миллионов 10-20 параметров.

И сравнивать косинусное расстояние нашего текста и этого товара, то есть, чтобы определить релевантность диалога о товаре.

За счёт чего трансформер учитывает порядок токенов?

В чём основная разница между BERT и GPT?

Как агрегировать выход трансформера в единый вектор: CLS-token или pooling?

А всякие штуки вроде DPO, PPO, LH, они алгоритмически отличаются?

Что такое PEFT и какие подходы существуют?

Можно в контексте LLN и про модерацию тоже рассказать?

Расскажите о вашем опыте работы с LLM для чат-ботов.

Как подключение другой LLM может дать дополнительную информацию?

Когда ты рассказывал про то, как вы там моделировали LLM-ками, это LLM-ки были какие-то дефолтные, и вы модерацию делали там систем-промптом просто, или это был fine-tuning?

Как подходить к задаче детекции сгенерированного контента?

Ты обучал лору, или это просто для всего департамента обучена какая-то?

Как работает LoRA? Данные сначала прогоняются через дополнительную матрицу?

Какими значениями инициализируются адаптеры в LoRA?

Почему в архитектуре трансформера используется слой layer norm вместо batch norm слоя?