Вопросы для подготовки к интервью

Как работают методы генерации текста, такие как temperature sampling и top-k sampling? Когда следует использовать каждый из них?

Какова роль механизма позиционного кодирования в трансформерах, и какие существуют его варианты?

Объясните, как работает ELMo и в чем его отличие от других моделей векторного представления слов.

Что такое TF-IDF и как он используется в обработке текста?

Что такое NER и для чего он используется?

Сравните BM25 и TF-IDF. В каких случаях лучше использовать каждый из них?

Объясните, как используется позиционное кодирование в трансформерах.

Почему BERT использует маскированное языковое моделирование (MLM)?

Объясните, как работает обучение с подкреплением от человека (RLHF) в контексте языковых моделей.

Сравните подходы beam search и greedy для генерации последовательностей.

Объясните, как работает механизм самовнимания (self-attention) в трансформерах и какую роль он играет в обработке последовательностей.

Как применить sentiment analysis к ответам LLM для ранжирования продуктов?

Почему vanilla BERT недостаточен для sentiment analysis и зачем нужен fine-tuning?

Какие алгоритмы токенизации текста используются в трансформерах?

Какую модель обучить для генерации текстовых описаний, если промтинг не работает?

Как происходит токенизация и создание эмбеддингов в трансформерах?

Расскажите про ваш опыт работы с LLM: как применяли, какие задачи решали?

Почему нельзя просто заменить основную LLM на LLM-Judge, если та даёт лучшие ответы?

Каковы основные подходы и технологии в области преобразования речи в текст и обработки аудио?

Каковы основные подходы к настройке LLM для модерации? Используются ли System Prompt или fine-tuning?