Large Language Model
Large Language Model
Определение
Large Language Model (LLM) — это тип нейросетевой модели, обученной на огромных объемах текстовых данных для понимания и генерации естественного языка. Отличается от обычных языковых моделей масштабом (миллиарды параметров) и способностью решать широкий спектр задач без дополнительного обучения. Fine-tuning позволяет адаптировать LLM под конкретные задачи с меньшими вычислительными затратами, чем обучение с нуля.
Где встречается
- 922. Что такое Language Model с точки зрения вероятности последовательности? Как P(w₁, …, wₙ) раскладывается через chain rule
- 951. Что такое Fine-tuning LLM? Чем отличается от обучения с нуля (pre-training) с точки зрения данных и вычислительных затрат
- 961. Что такое Parameter-Efficient Fine-Tuning (PEFT)? Назовите 3 метода, которые не масштабируются на большие модели (кроме LoRA)