Bottleneck
Bottleneck
Определение
Компонент или этап системы, ограничивающий общую производительность; в контексте LLM это может быть пропускная способность памяти GPU, информационные потери из-за фиксированного числа токенов запросов или узкое место в пайплайне.
Где встречается
- 13. Как вы загружаете 1000 документов в RAG максимально эффективно
- 51. Как вы передаёте контекст между несколькими агентами (multi-agent system)
- 310. Как вы читаете профиль Nsight Systems для поиска bottlenecks в vLLM
- 540. Как работает Q-Former в BLIP-2 и зачем он нужен
- 821. Как избежать hot shard в Qdrant (или другой векторной БД)
- 800+ вопросов
- 1. Развернуть NCCL бенчмарк на 2-8 GPU
- 92. Профилировать GPU utilization падение