Вопросы для подготовки к интервью

Сравните и сопоставьте методы токенизации BPE и WordPiece.

Почему в ELMo используются контекстные векторные представления и как они отличаются от статических?

Что такое RLHF и как он применим в современных NLP моделях?

Каковы основные принципы работы модели T5 и в чем ее уникальность?

Объясните, что такое BERT и для чего он используется в задачах обработки естественного языка.

Что такое word2vec и как работает метод Skip-gram?

Сравните методы токенизации BPE, WordPiece и SentencePiece. В чем их основные отличия?

Почему важна позиционная кодировка в трансформерах?

Объясните, как работает механизм самовнимания в трансформерах и чем он отличается от перекрестного внимания.

Каковы преимущества и недостатки использования модели GPT по сравнению с BERT?

Когда следует использовать подход RAG (Retrieval-Augmented Generation) в задачах обработки текста?

Как работает принцип обучения с подкреплением на основе человеческой обратной связи (RLHF) и где он может быть полезен?

Что такое LoRA и как он помогает в обучении больших языковых моделей?

Что такое TF-IDF и как он работает?

Объясните, как работает метод контекстно-зависимого векторного представления слов Word2Vec.

Что такое BERT и как его механизмы Masked Language Modeling (MLM) и Next Sentence Prediction (NSP) влияют на его работу?

Сравните подходы к токенизации BPE и WordPiece. В чем их основные различия?

Как работает механизм внимательности в трансформерах, и в чем разница между self-attention и cross-attention?

Когда и почему следует использовать метод BM25 вместо TF-IDF в задачах поиска?

Что такое FastText и какие преимущества он предлагает по сравнению с другими моделями векторного представления слов?