RWKV
RWKV
Определение
Гибридная архитектура нейронной сети, объединяющая рекуррентные вычисления RNN с механизмом внимания Transformer, обеспечивающая линейную сложность инференса.
Где встречается
- 299. Как работает attention между слоями (cross-layer attention) в современных архитектурах
- 626. Как работают современные long-context LLM (GPT-4 1M, Claude 200k, Gemini 2M)
- 714. RWKV (RNN with Transformer attention) как комбинирует RNN и attention
- Практика
- 800+ вопросов
- 52. Настроить RWKV для инференса
- 59. Сравнить архитектуры на reasoning задачах