Вопросы на собеседовании: NLP

За счёт чего трансформер учитывает порядок токенов?

В чём основная разница между BERT и GPT?

Как агрегировать выход трансформера в единый вектор: CLS-token или pooling?

А всякие штуки вроде DPO, PPO, LH, они алгоритмически отличаются?

Что такое PEFT и какие подходы существуют?

Можно в контексте LLN и про модерацию тоже рассказать?

Расскажите о вашем опыте работы с LLM для чат-ботов.

Как подключение другой LLM может дать дополнительную информацию?

Когда ты рассказывал про то, как вы там моделировали LLM-ками, это LLM-ки были какие-то дефолтные, и вы модерацию делали там систем-промптом просто, или это был fine-tuning?

Как подходить к задаче детекции сгенерированного контента?

Ты обучал лору, или это просто для всего департамента обучена какая-то?

Как работает LoRA? Данные сначала прогоняются через дополнительную матрицу?

Какими значениями инициализируются адаптеры в LoRA?

Почему в архитектуре трансформера используется слой layer norm вместо batch norm слоя?

Какие контекстные менеджеры используются в PyTorch?

Как вы решаете задачу модерации контента, чтобы не допустить запрещенные темы?