Embedding layer

Определение

Слой нейронной сети, преобразующий дискретные токены в плотные векторные представления фиксированной размерности. Обычно реализуется как матрица размером V×d, где V — размер словаря, d — размерность эмбеддинга.

Где встречается

• 475. Почему tokenizer влияет на стоимость training
• 674. Что такое logit lens (интерпретация скрытых состояний)
• 677. Как работает forward pass LLM от токена до вероятности следующего токена
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление