EOS token
EOS token
Определение
Специальный токен, сигнализирующий о завершении последовательности. Используется для удаления завершённых запросов из батча при continuous batching и как разделитель при packing последовательностей.
Где встречается
- 438. Что такое continuous batching Как реализовано в vLLM
- 467. Что такое packing sequences и зачем он нужен
- 800+ вопросов