Tied embeddings

Определение

Техника, при которой веса слоя эмбеддингов разделяются с весами выходного линейного слоя, что уменьшает общее количество параметров модели и способствует регуляризации.

Где встречается

• 665. Как работает инициализация весов в LLM (Xavier, Kaiming, почему важна)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление