logits
logits
Определение
Выходные значения модели до softmax, распределение которых важно сохранять при сжатии.
Где встречается
- 34. Какая у вас была самая сложная проблема при fine-tuning и как вы её решили
- 133. Альтернативы LLM-as-Judge — назовите 3 и их ограничения.
- 153. Что такое ∇-Reasoner (nabla-reasoner) и как он использует градиентный спуск на этапе теста
- 289. Как работает speculative decoding на уровне логитов, а не токенов
- 292. Как работает temperature sampling и как он влияет на качество при разных значениях
- 293. Что такое Top-p (nucleus) sampling и как он сочетается с temperature
- 294. Как вы калибруете вероятности LLM для classification задач
- 295. Что такое logit lens и как он помогает понимать внутренние представления
- 348. Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)
- 355. Как вы защищаете LLM от градиентных атак (white-box jailbreak)
- 357. Как работает membership inference атака на LLM
- 485. Как вы дебажите training instability (loss spikes, divergence)
- 507. Что такое calibration в контексте reward model для RLHF
- 596. Как работает model stealing attack (экстракция модели через API)
- 622. Как работает membership inference через logits (разница в вероятностях)
- 638. Как работает ∇-Reasoner (градиентный спуск в пространстве токенов на этапе теста)
- 656. Как работает кросс-энтропия (cross-entropy loss) для LLM обучения
- 661. Как работает softmax и почему он вызывает проблемы с градиентами при больших logits
- 662. Что такое logits и как они связаны с вероятностями temperature scaling
- 674. Что такое logit lens (интерпретация скрытых состояний)
- 677. Как работает forward pass LLM от токена до вероятности следующего токена
- 679. Что такое repetition penalty и как он работает
- 800+ вопросов
- 52. Настроить RWKV для инференса
- 56. Реализовать diffusion LLM (PLANNER)
- 67. Реализовать latent reasoning (∇-Reasoner)
- 81. Спроектировать uncertainty UI
- 85. Спроектировать escalation system
- 95. Написать runbook для synthetic data collapse
- 117. Настроить эскалацию человеку
- 222. Агент для email
- 274. Настроить self-training с псевдо-метками