RWKV

Определение

Гибридная архитектура нейронной сети, объединяющая рекуррентные вычисления RNN с механизмом внимания Transformer, обеспечивающая линейную сложность инференса.

Где встречается

• 299. Как работает attention между слоями (cross-layer attention) в современных архитектурах
• 626. Как работают современные long-context LLM (GPT-4 1M, Claude 200k, Gemini 2M)
• 714. RWKV (RNN with Transformer attention) как комбинирует RNN и attention
• Практика
• 800+ вопросов
• 52. Настроить RWKV для инференса
• 59. Сравнить архитектуры на reasoning задачах

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление