English translation is not available yet. Showing Russian content.
BOS token
BOS token
Определение
Специальный токен, обозначающий начало последовательности; используется для сброса избыточного внимания модели при обработке длинных контекстов, что связано с явлением attention sink.