English translation is not available yet. Showing Russian content.
FLOPs
FLOPs
Определение
Мера вычислительной сложности модели, количество операций с плавающей запятой; используется для сравнения архитектур (dense vs MoE) и диагностики узких мест (compute-bound vs memory-bound).
Где встречается
- 151. Что такое тест-тайм компьютинг (Test-Time Compute) и чем он отличается от обычного инференса
- 300. Как вы сравниваете две LLM архитектуры не по accuracy, а по efficiency
- 431. Почему LLM inference memory-bound, а не compute-bound
- 435. Почему MoE (Mixture of Experts) быстрее dense модели при инференсе
- 444. Почему 4-bit inference иногда медленнее 8-bit
- 475. Почему tokenizer влияет на стоимость training
- 680. Как работает Mixture of Experts (MoE) внутри LLM (спарсинг активации)
- 840. Когда tensor parallelism хуже pipeline parallelism
- 800+ вопросов