English translation is not available yet. Showing Russian content.
next token prediction
next token prediction
Определение
Задача предсказания следующего токена в последовательности, на которой обучаются языковые модели с использованием кросс-энтропии. Является стандартным методом обучения LLM.
Где встречается
- 656. Как работает кросс-энтропия (cross-entropy loss) для LLM обучения
- 728. Что такое AI for materials science (GNoME, MatterGen) и как это отличается от text LLM
- 898. Как работает Toolformer (обучение агента использованию инструментов)
- 800+ вопросов