Вопросы для подготовки к интервью

Что значит статистики по фичам пользователя?

Как избежать ситуации, когда модель поднимает товары с большими скидками во время распродажи?

Как переводить будем?

А какой MLP, на что мы его будем обучать тогда?

Какой эмбэддер мы будем использовать для категориальных фичей?

Как бы, например, при помощи ванхода ты бы закодировал форму вставки?

Что такое TF-IDF и как он используется в обработке естественного языка?

Объясните, как работает метод Word2Vec и в чем разница между CBOW и Skip-gram.

Какова основная идея модели BERT и как она отличается от предыдущих моделей?

Объясните, что такое самовнимание и как оно отличается от перекрестного внимания.

Когда следует использовать GloVe вместо Word2Vec?

Сравните температурное сэмплирование и сэмплирование по топ-k. В каких случаях каждое из них будет предпочтительным?

Что такое beam search, и как он отличается от жадного подхода?

Объясните, как работает предобучение BERT, включая MLM и NSP.

Когда и почему следует использовать Fine-tuning для моделей трансформеров?

Какова роль RLHF (обучение с подкреплением от человеческой обратной связи) в обучении языковых моделей?

Объясните разницу между CBOW и Skip-gram в контексте word2vec.

Когда и почему предпочтительно использовать GloVe вместо word2vec?

Как работает механизм самовнимания в трансформерах?

Объясните, как работает BERT и как реализуется предсказание следующего предложения (NSP).