xPos

Определение

Улучшение позиционного кодирования RoPE с экспоненциальным затуханием, позволяющее модели эффективно обрабатывать длинные контексты.