Вопросы на собеседовании: NLP

Сравните методы токенизации BPE, WordPiece и SentencePiece. В чем их основные отличия?

Почему важна позиционная кодировка в трансформерах?

Объясните, как работает механизм самовнимания в трансформерах и чем он отличается от перекрестного внимания.

Каковы преимущества и недостатки использования модели GPT по сравнению с BERT?

Когда следует использовать подход RAG (Retrieval-Augmented Generation) в задачах обработки текста?

Как работает принцип обучения с подкреплением на основе человеческой обратной связи (RLHF) и где он может быть полезен?

Что такое LoRA и как он помогает в обучении больших языковых моделей?

Что такое TF-IDF и как он работает?

Объясните, как работает метод контекстно-зависимого векторного представления слов Word2Vec.

Что такое BERT и как его механизмы Masked Language Modeling (MLM) и Next Sentence Prediction (NSP) влияют на его работу?

Сравните подходы к токенизации BPE и WordPiece. В чем их основные различия?

Как работает механизм внимательности в трансформерах, и в чем разница между self-attention и cross-attention?

Когда и почему следует использовать метод BM25 вместо TF-IDF в задачах поиска?

Что такое FastText и какие преимущества он предлагает по сравнению с другими моделями векторного представления слов?

Как работают методы генерации текста, такие как temperature sampling и top-k sampling? Когда следует использовать каждый из них?

Какова роль механизма позиционного кодирования в трансформерах, и какие существуют его варианты?

Объясните, как работает ELMo и в чем его отличие от других моделей векторного представления слов.

Что такое TF-IDF и как он используется в обработке текста?

Что такое NER и для чего он используется?

Сравните BM25 и TF-IDF. В каких случаях лучше использовать каждый из них?