throughput
throughput
Определение
Метрика производительности, измеряющая количество обработанных запросов, токенов или сообщений в единицу времени; ключевая характеристика инференса LLM и систем в целом.
Где встречается
- 61. Как вы разворачиваете LLM в production (self-hosted)
- 62. Какие метрики вы мониторите для LLM в production
- 72. OpenAI vs Антропик vs Groq vs Self-hosted — что выбираете
- 77. Как вы оптимизируете embedding генерацию для большого количества документов
- 78. Какие LLM для русского языка вы используете
- 81. Как бы вы спроектировали систему для 1000 одновременных пользователей чат-бота с RAG
- 82. Как бы вы спроектировали систему для реального времени (real-time) обработки документов
- 139. Как вы оцениваете cost-effectiveness LLM-пайплайна
- 161. Как вы измеряете эффективность speculative decoding
- 162. Что такое Quasar и как quantized verification ускоряет инференс
- 164. Какие trade-offs между разными архитектурами speculative decoding
- 201. Что такое continuous batching и как оно отличается от static batching Как это реализовано в vLLMTGI
- 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
- 205. Как вы деплоите LLM с requirement 100ms latency при throughput 1000 reqs Архитектура.
- 207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
- 210. Что такое chunked prefill и зачем он нужен
- 214. Как вы реализуете streaming в production с учетом network limitations
- 216. Как вы делаете load testing для LLM endpoint Какие метрики ключевые
- 218. Как работает continuous batching в TGI (Hugging Face Text Generation Inference)
- 220. Как вы выбираете между online и batch инференсом для LLM
- 249. Как вы делаете load shedding при перегрузке LLM сервера
- 250. Как вы делаете health check для LLM сервера с учетом модели (не только процесс)
- 256. Как вы проектируете ETL пайплайн для 1M документовдень в RAG систему
- 277. Что такое multi-query attention (MQA) и grouped-query attention (GQA) и зачем они
- 300. Как вы сравниваете две LLM архитектуры не по accuracy, а по efficiency
- 307. Как PCIe bottleneck проявляется в multi-GPU инференсе
- 318. TensorRT-LLM vs vLLM — сравнение для production deployment.
- 324. Что такое TVM (Apache TVM) и зачем он нужен для AI инференса
- 325. Как вы сравниваете разные компиляторы (TensorRT, IREE, XLA) для вашей модели
- 381. Как вы определяете SLO и SLA для LLM сервиса
- 382. Как вы проектируете canary deployment для LLM модели
- 388. Что такое SLI (Service Level Indicators) для AI системы и как их собирать
- 401. Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism
- 425. Как работает sequence parallelism в контексте LLM
- 428. Как вы проектируете Kafka топологии для RAG ingestion
- 432. Как работает FlashAttention-3 технически Чем отличается от FA2
- 437. Почему decode stage плохо batchится
- 438. Что такое continuous batching Как реализовано в vLLM
- 440. Как работает speculative decoding Как выбрать draft модель
- 444. Почему 4-bit inference иногда медленнее 8-bit