Сингулярное разложение

1.Сингулярное разложение 

(Singular Value Decomposition, SVD) — декомпозиция вещественной матрицы с целью ее приведения к каноническому виду. Сингулярное разложение является удобным методом при работе с матрицами. Оно показывает геометрическую структуру матрицы и позволяет наглядно представить имеющиеся данные. Сингулярное разложение используется при решении самых разных задач — от приближения методом наименьших квадратов и решения систем уравнений до сжатия изображений. При этом используются разные свойства сингулярного разложения, например, способность показывать ранг матрицы, приближать матрицы данного ранга. SVD позволяет вычислять обратные и псевдообратные матрицы большого размера, что делает его полезным инструментом при решении задач регрессионного анализа.

Для любой вещественной [pic 1]-матрицы [pic 2] существуют две вещественные ортогональные [pic 3]-матрицы [pic 4] и [pic 5] такие, что [pic 6] — диагональная матрица [pic 7],

[pic 8]

Матрицы [pic 9] и [pic 10] выбираются так, чтобы диагональные элементы матрицы [pic 11] имели вид

[pic 12]

где [pic 13] — ранг матрицы [pic 14]. В частности, если [pic 15] невырождена,

то

[pic 16]

Индекс [pic 17] элемента  есть фактическая размерность собственного пространства матрицы  [pic 19].[pic 18]

Столбцы матриц [pic 20] и [pic 21] называются соответственно левыми и правыми сингулярными векторами, а значения диагонали матрицы [pic 22] называются сингулярными числами.

Эквивалентная запись сингулярного разложения — [pic 23].

Например, матрица

[pic 24]

имеет сингулярное разложение

[pic 25]

Легко увидеть, что матрицы [pic 26] и [pic 27] ортогональны,

[pic 28] также [pic 29]

и сумма квадратов значений их столбцов равна единице.

Геометрический смысл SVD

Пусть матрице [pic 30] поставлен в соответствие линейный оператор. Cингулярное разложение можно переформулировать в геометрических терминах. Линейный оператор, отображающий элементы пространства [pic 31] в себя представим в виде последовательно выполняемых линейных операторов вращения, растяжения и вращения. Поэтому компоненты сингулярного разложения наглядно показывают геометрические изменения при отображении линейным оператором [pic 32] множества векторов из векторного пространства в себя или в векторное пространство другой размерности.

Пространства матрицы и SVD
Сингулярное разложение позволяет найти ортогональные базисы различных векторных пространств разлагаемой матрицы

[pic 33]

Для прямоугольных матриц существует так называемое экономное представление сингулярного разложения матрицы.

[pic 34]

Согласно этому представлению при [pic 35], диагональная матрица [pic 36] имеет пустые строки (их элементы равны нулю), а при [pic 37] — пустые столбцы. Поэтому существует еще одно экономное представление

[pic 38]

в котором [pic 39].

Нуль-пространство матрицы [pic 40] — набор векторов [pic 41], для которого справедливо высказывание [pic 42]. Собственное пространство матрицы [pic 43] — набор векторов [pic 44], при котором уравнение [pic 45] имеет ненулевое решение для [pic 46]. Обозначим [pic 47] и [pic 48] — столбцы матриц [pic 49] и [pic 50]. Тогда разложение [pic 51] может быть записано в виде: [pic 52], где [pic 53]. Если сингулярное число [pic 54], то  и [pic 56] находится в нуль-пространстве матрицы [pic 57], а если сингулярное число [pic 58], то вектор [pic 59] находятся в собственном пространстве матрицы [pic 60]. Следовательно, можно сконструировать базисы для различных векторных подпространств, определенных матрицей [pic 61]. Hабор векторов [pic 62] в векторном пространстве [pic 63] формирует базис для [pic 64], если любой вектор [pic 65] из [pic 66] можно представить в виде линейной комбинации векторов [pic 67] единственным способом. Пусть [pic 68] будет набором тех столбцов [pic 69], для которых [pic 70], а [pic 71] — все остальные столбцы [pic 72]. Также, пусть [pic 73] будет набором столбцов [pic 74], для которых [pic 75], а [pic 76] — все остальные столбцы [pic 77], включая и те, для которых [pic 78]. Тогда, если [pic 79] — количество ненулевых сингулярных чисел, то имеется [pic 80] столбцов в наборе [pic 81] и [pic 82] столбцов в наборе [pic 83] и [pic 84], а также [pic 85]столбцов в наборе [pic 86]. Каждый из этих наборов формирует базис векторного пространства матрицы [pic 87]:[pic 55]