Segment-Level Recurrence
Segment-Level Recurrence
Определение
Segment-Level Recurrence — это механизм, используемый в архитектуре Transformer-XL, который позволяет модели обрабатывать длинные последовательности, сохраняя скрытые состояния предыдущих сегментов и передавая их в текущий сегмент. Это решает проблему ограниченного контекста, характерную для стандартных трансформеров, и даёт возможность учитывать информацию из более ранних частей последовательности, выходя за пределы фиксированной длины сегмента.