English translation is not available yet. Showing Russian content.
Infini-attention
Infini-attention
Определение
Модификация механизма внимания Transformer, добавляющая рекуррентную память для обработки теоретически бесконечных последовательностей с линейной сложностью.
Где встречается
- 626. Как работают современные long-context LLM (GPT-4 1M, Claude 200k, Gemini 2M)
- 632. Как работает Infini-attention (Google, 2024) для бесконечного контекста
- 639. Как вы делаете model selection для long context (какая модель лучше держит 100k+)
- 800+ вопросов