WordPiece

Определение

Алгоритм токенизации, разбивающий слова на подслова на основе вероятностной модели, максимизирующей правдоподобие данных. Используется в BERT и других трансформерах, влияет на стоимость обучения из-за размера словаря.

Где встречается

• 475. Почему tokenizer влияет на стоимость training
• 677. Как работает forward pass LLM от токена до вероятности следующего токена

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление