streaming tasks

Определение

Задачи инференса с бесконечным потоком токенов, где память не растёт линейно, что делает их эффективными для длинных контекстов.