Embedding matrix
Embedding matrix
Определение
Embedding matrix (матрица эмбеддингов) — это обучаемый слой нейронной сети, который преобразует дискретные индексы токенов (слов или подслов) в плотные векторные представления фиксированной размерности. Размер матрицы равен vocab_size × embed_dim, где vocab_size — размер словаря, а embed_dim — размерность эмбеддинга. При хранении в half precision (float16) каждый вес занимает 2 байта, поэтому полный вес матрицы составляет 2 × vocab_size × embed_dim байт. В архитектурах трансформеров embedding matrix часто используется совместно с LM head (матрицей проекции на словарь), и их общий вес удваивается.