Global + Local Attention

Определение

Комбинация механизмов внимания, где часть токенов имеет глобальный доступ ко всем токенам, а остальные — только к локальному окну, используется в BigBird и Longformer.

Где встречается

• 281. Что такое sliding window attention и зачем он в Mistral

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление