Knowledge Portal

aivaro.ru

  • Оглавление
  • Вопросы
  • Практика
  • Вики
  • Тесты
  • Поиск
✈Telegram @AetSeidhe
RUEN中文
…
Оглавление/Вики/model weights

model weights

model weights

Определение

Числовые параметры обученной модели, определяющие её поведение; загружаются в память для выполнения инференса.

Где встречается

  • 431. Почему LLM inference memory-bound, а не compute-bound
  • 800+ вопросов

Навигация

  • Индекс терминов
  • Индекс разборов
  • Оглавление

Теги

wikiтерминarchitectureinference

Ссылки

  • Почему LLM inference memory-bound, а не compute-bound?

Обратные ссылки (11)

  • RWKV (RNN with Transformer attention): как комбинирует RNN и attention?
  • ZeRO-1 vs ZeRO-2 vs ZeRO-3: что и когда использовать?
  • Индекс терминов
  • Как организовать multi-region active-passive для LLM API?
  • Как работает FSDP (Fully Sharded Data Parallel) в PyTorch?
  • Как тестировать промпты на регрессии (prompt regression suite)?
  • Почему MoE (Mixture of Experts) быстрее dense модели при инференсе?
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать RRF (Reciprocal Rank Fusion)
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать протокол A2A с discovery и capability negotiation
  • Что такое DeepSpeed ZeRO-Offload и когда он полезен?
  • Что такое Guided Decoding и как оно связано с JSON schema?