sampling

Определение

Метод генерации токенов, при котором следующий токен выбирается случайно из распределения вероятностей, что обеспечивает разнообразие ответов.

Где встречается

• 229. Как вы измеряем recall@k для ANN индекса и какой порог acceptable
• 241. Как вы делаете distributed tracing для цепочки user → gateway → RAG → LLM → user
• 318. TensorRT-LLM vs vLLM — сравнение для production deployment.
• 408. Как вы делаете distributed tracing для цепочки user → gateway → RAG → LLM → user
• 450. Что такое Wave Decoding и чем отличается от стандартного авторегрессивного
• 662. Что такое logits и как они связаны с вероятностями temperature scaling
• 678. Как работает greedy decoding vs beam search vs sampling
• 679. Что такое repetition penalty и как он работает
• 824. Как организовать distributed tracing для agent pipeline
• 800+ вопросов
• 56. Реализовать diffusion LLM (PLANNER)
• 275. Реализовать active learning loop

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление