SVD
SVD
Определение
SVD (Singular Value Decomposition) — это метод факторизации матрицы, представляющий её в виде произведения трёх матриц: (A = U \Sigma V^T), где (U) и (V) — ортогональные матрицы, а (\Sigma) — диагональная матрица с сингулярными числами. Широко применяется для низкоранговой аппроксимации, позволяя уменьшить размерность данных или сжать модель с минимальной потерей информации. В контексте LoRA используется для приближения полной матрицы весов через произведение двух низкоранговых матриц.