Hugging Face Transformers
Hugging Face Transformers
Определение
Hugging Face Transformers — библиотека с открытым исходным кодом, предоставляющая унифицированный интерфейс для предобученных трансформерных моделей (BERT, GPT, T5, ViT и др.) в задачах NLP, компьютерного зрения и обработки аудио. Библиотека включает инструменты для загрузки, дообучения и инференса моделей, поддерживает фреймворки PyTorch, TensorFlow и JAX. Разрабатывается компанией Hugging Face и является де-факто стандартом в области трансформеров.
Где встречается
- 904. Какие типы NER существуют (BIO, BIOES, span-based)? В чем проблема вложенных сущностей (nested NER)?
- 906. Что такое RE (Relation Extraction)? Приведите пример: как извлечь пары «(сущность_1, отношение, сущность_2)» из предложения?
- 911. Что такое Word2Vec (CBOW и Skip-gram) и fastText? Чем отличаются от контекстуальных эмбеддингов типа BERT?
- 908. Какие подходы к суммаризации текста вы знаете? Чем extractive отличается от abstractive? Назовите плюсы и минусы.
- 915. Что такое Multilabel Classification (в отличие от Multiclass)? Какую функцию потерь использовать для multilabel?
- 920. Как работает LayoutLMv3? Почему он лучше, чем просто OCR + BERT, для понимания отсканированных документов?
- 930. Как влияет размер словаря токенизатора на количество параметров модели и скорость инференса?
- 944. Как вы дебажите, почему классификатор ошибся на конкретном примере (анализ эмбеддингов, ошибки токенизации)?
- 945. Как работает CRF (Conditional Random Field) сверху BiLSTM для NER? Зачем нужен слой CRF?
- 951. Что такое Fine-tuning LLM? Чем отличается от обучения с нуля (pre-training) с точки зрения данных и вычислительных затрат?
- 957. Что такое (IA)^3 (Infused Adapter by Inhibiting and Amplifying Inner Activations)? Как он масштабирует LoRA?
- 955. Что такое QLoRA? Как 4-bit NormalFloat (NF4) quantization и Double Quantization позволяют fine-tune 70B модель на одной 24GB GPU?
- 952. Что такое LoRA (Low-Rank Adaptation)? Объясните математическую идею: W' = W + BA. Почему это экономит память?
- 960. Как вы подбираете гиперпараметры для LoRA (learning rate, batch size, rank, alpha)?
- 956. Что такое P-tuning и Prefix Tuning? Как они отличаются от LoRA (обучаемые векторы на входе vs матрицы внутри слоев)?
- 963. Какие данные нужны для fine-tuning на инструкции (instruction tuning)? Формат: (инструкция, контекст, ответ).
- 961. Что такое Parameter-Efficient Fine-Tuning (PEFT)? Назовите 3 метода, которые не масштабируются на большие модели (кроме LoRA).
- 964. Как вы генерируете синтетический датасет для instruction tuning (Self-Instruct, Evol-Instruct)?
- 962. Как fine-tune модель для Function Calling (tool use)? Какую структуру данных (JSON schema) использовать?
- 967. Как вы бенчмарките fine-tuned модель: на удержанном датасете, на out-of-distribution задачах, на adversarial кейсах?
- 968. Какой размер датасета нужен для LoRA (тысячи, десятки тысяч примеров) против полного fine-tuning?
- 970. Как вы fine-tune reranker (cross-encoder) для RAG? Как генерировать hard negatives?
- 972. Что такое Quantization-Aware Training (QAT)? Чем отличается от Post-Training Quantization (PTQ)?
- 974. Как вы логируете и отслеживаете эксперименты по fine-tuning (MLflow, Weights & Biases, TensorBoard)?
- 980. Как сделать fine-tuning модели на 1 млн токенов контекста (например, для анализа кодовой базы)? Технические ограничения.
- 982. Для чего нужен этап Supervised Fine-Tuning (SFT) перед RLHF? Что будет, если его пропустить?
- 986. Как работает PPO (Proximal Policy Optimization) для LLM? Объясните: Actor (LLM), Critic (Value model), Clipping, KL penalty.
- 992. Что такое reward hacking? Приведите пример: как модель может обмануть Reward Model, не улучшая качество ответа?
- 994. Что такое Constitutional AI? Как использовать правила (constitution) для генерации preference данных без людей?