Loss
Loss
Определение
Функция потерь — целевая функция модели, минимизируемая при обучении; её значения на обучающей и валидационной выборках используются для диагностики переобучения и ранней остановки.
Где встречается
- 24. Какой размер датасета нужен для fine-tuning
- 28. Какие данные нужны для fine-tuning на кастомный стиль общения
- 37. Как вы избегаете переобучения при fine-tuning на маленьком датасете
- 284. Как работают современные tokenizers (BPE, Unigram, SentencePiece) и их ограничения
- 467. Что такое packing sequences и зачем он нужен
- 476. Как работает packing для variable-length sequences в FSDP
- 675. Как работает dropout и зачем он нужен в LLM (regularization)
- 869. Как избежать benchmark contamination (когда модель видела тестовые данные)
- 800+ вопросов
- 65. Реализовать process reward model
- 67. Реализовать latent reasoning (∇-Reasoner)
- 95. Написать runbook для synthetic data collapse
- 244. Fine-tune QLoRA на 1 GPU
- 273. Реализовать curriculum learning