Вопросы на собеседовании: NLP

Объясните, как используется позиционное кодирование в трансформерах.

Почему BERT использует маскированное языковое моделирование (MLM)?

Объясните, как работает обучение с подкреплением от человека (RLHF) в контексте языковых моделей.

Сравните подходы beam search и greedy для генерации последовательностей.

Объясните, как работает механизм самовнимания (self-attention) в трансформерах и какую роль он играет в обработке последовательностей.

Как применить sentiment analysis к ответам LLM для ранжирования продуктов?

Почему vanilla BERT недостаточен для sentiment analysis и зачем нужен fine-tuning?

Какие алгоритмы токенизации текста используются в трансформерах?

Какую модель обучить для генерации текстовых описаний, если промтинг не работает?

Как происходит токенизация и создание эмбеддингов в трансформерах?

Расскажите про ваш опыт работы с LLM: как применяли, какие задачи решали?

Почему нельзя просто заменить основную LLM на LLM-Judge, если та даёт лучшие ответы?

Каковы основные подходы и технологии в области преобразования речи в текст и обработки аудио?

Каковы основные подходы к настройке LLM для модерации? Используются ли System Prompt или fine-tuning?

Расскажите подробно про ваш кейс реализации AI-агента (RAG-системы).

Сейчас. Ты говорил, что работал с VLM. Зачем вообще он нужен, если есть точку Generate с Transformers?

Почему Word2vec, а не BERT какой-нибудь?

Можешь сказать, что из себя представляет эмбейдинг и почему он нам интересен в контексте языковой модели?

Ну, не знаю, какой-нибудь BERT дистиллированный, то есть, там, где имбеддинг небольшой на выходе получается, там, где там миллионов 10-20 параметров.

И сравнивать косинусное расстояние нашего текста и этого товара, то есть, чтобы определить релевантность диалога о товаре.