OpenWebText

Определение

Открытый датасет, содержащий тексты из веба, используемый для обучения языковых моделей. Применяется, например, при обучении голов Medusa в speculative decoding.

Где встречается

• 164. Какие trade-offs между разными архитектурами speculative decoding
• 56. Реализовать diffusion LLM (PLANNER)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление