OpenWebText
OpenWebText
Определение
Открытый датасет, содержащий тексты из веба, используемый для обучения языковых моделей. Применяется, например, при обучении голов Medusa в speculative decoding.
Где встречается
- 164. Какие trade-offs между разными архитектурами speculative decoding
- 56. Реализовать diffusion LLM (PLANNER)