Knowledge Portal

aivaro.ru

  • Оглавление
  • Вопросы
  • Практика
  • Вики
  • Тесты
  • Поиск
✈Telegram @AetSeidhe
RUEN中文
…
Оглавление/Вики/bottlenecks

bottlenecks

bottlenecks

Определение

Множественное число от bottleneck; узкие места производительности, которые необходимо идентифицировать и устранять, например, с помощью профилировщика Nsight Systems в vLLM.

Где встречается

  • 800+ вопросов

Навигация

  • Индекс терминов
  • Индекс разборов
  • Оглавление

Теги

wikiтерминarchitectureinference

Обратные ссылки (13)

  • Индекс терминов
  • Как вы делаете distributed tracing для цепочки: user → gateway → RAG → LLM → user?
  • Как вы делаете load testing для LLM endpoint? Какие метрики ключевые?
  • Как вы планируете масштабирование команды вокруг LLM-системы?
  • Как вы читаете профиль Nsight Systems для поиска bottlenecks в vLLM?
  • Как измерять «стоимость делегирования» (токены + время + деньги)?
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Измерить KPD (коэффициент полезного делегирования)
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить NVLink topology для 8× GPU
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Профилировать GPU utilization падение
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Развернуть NCCL бенчмарк на 2-8 GPU
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать WAL для векторной БД
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Создать blameless postmortem template
  • Что такое «cost attribution» (какой компонент сколько стоит)?