GPT2Block

Определение

Блок трансформера архитектуры GPT-2 из библиотеки HuggingFace, содержащий механизм внимания (self-attention). Используется в гибридных моделях, сочетающих Mamba и Attention.

Где встречается

• 60. Настроить гибрид (Mamba + Attention)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление