языковое моделирование
языковое моделирование
Определение
Задача предсказания следующего токена в последовательности, лежащая в основе обучения генеративных моделей (LLM, аудиомоделей). Используется для моделирования дискретных токенов и оценки качества архитектур, таких как Infini-attention.
Где встречается
- 551. Как работает AudioLM и MusicGen для генерации аудио
- 632. Как работает Infini-attention (Google, 2024) для бесконечного контекста
- 800+ вопросов