Псевдообратная матрица

Псевдообра́тная ма́трица — обобщение понятия обратной матрицы в линейной алгебре. Псевдообратная матрица к матрице ${\displaystyle A}$ обозначается ${\displaystyle A^{+}}$.

Впервые концепцию псевдообратных интегрирующих операторов в 1903 году представил Фредгольм. Наиболее известно псевдообращение Мура — Пенроуза, которое было независимо описано Элиакимом Муром^[1] в 1920 году и Роджером Пенроузом^[2] в 1955 году; утверждение о существовании и единственности для любой матрицы над действительными и комплексными числами псевдообратной матрицы носит название теоремы Мура — Пенроуза.

Обобщённое обращение (англ. generalized inverse) — псевдообращение, удовлетворяющее более строгим условиям. Псевдообращение можно понимать как решение задачи наилучшей аппроксимации (по методу наименьших квадратов с предельным вариантом регуляризации) для соответствующей системы линейных уравнений➤. Псевдообратная матрица может быть вычислена с помощью сингулярного разложения матрицы.

${\displaystyle A^{+}}$ называется псевдообратной матрицей для матрицы ${\displaystyle A}$, если она удовлетворяет следующим критериям:

1. ${\displaystyle AA^{+}A=A}$;
2. ${\displaystyle A^{+}AA^{+}=A^{+}}$ (${\displaystyle A^{+}}$ является слабым обращением в мультипликативной полугруппе);
3. ${\displaystyle (AA^{+})^{*}=AA^{+}}$ (это означает, что ${\displaystyle AA^{+}}$ — эрмитова матрица);
4. ${\displaystyle (A^{+}A)^{*}=A^{+}A}$ (${\displaystyle A^{+}A}$ — тоже эрмитова матрица).

Здесь ${\displaystyle M^{*}}$ — эрмитово сопряжённая матрица M (для матриц над полем действительных чисел ${\displaystyle M^{*}=M^{T}}$).

Существует эквивалентный способ задания псевдообратной матрицы через предел обратных (регуляризация Тихонова):

${\displaystyle A^{+}=\lim _{\delta \to +0}(A^{*}A+\delta I)^{-1}A^{*}=\lim _{\delta \to +0}A^{*}(AA^{*}+\delta I)^{-1}}$,

где ${\displaystyle I}$ — единичная матрица. Этот предел существует, даже если ${\displaystyle (AA^{*})^{-1}}$ и ${\displaystyle (A^{*}A)^{-1}}$ не определены.

• Псевдообращение инволютивно (то есть эта операция обратна самой себе):

  ${\displaystyle (A^{+})^{+}=A}$.

• Псевдообращение коммутирует с транспонированием, сопряжением и эрмитовым сопряжением:

  ${\displaystyle (A^{T})^{+}=(A^{+})^{T}}$,
  ${\displaystyle ({\overline {A}})^{+}={\overline {A^{+}}}}$,
  ${\displaystyle (A^{*})^{+}=(A^{+})^{*}}$.

• Псевдообратное произведение матрицы ${\displaystyle A}$ на скаляр ${\displaystyle \alpha }$ равно соответствующему произведению матрицы ${\displaystyle A^{+}}$ на обратное число ${\displaystyle \alpha ^{-1}}$:

  ${\displaystyle (\alpha A)^{+}=\alpha ^{-1}A^{+}}$, для ${\displaystyle \alpha \neq 0}$.

• Если псевдообратная матрица для ${\displaystyle A^{*}A}$ уже известна, она может быть использована для вычисления ${\displaystyle A^{+}}$:

  ${\displaystyle A^{+}=(A^{*}A)^{+}A^{*}}$.

• Аналогично, если матрица ${\displaystyle (AA^{*})^{+}}$ уже известна:

  ${\displaystyle A^{+}=A^{*}(AA^{*})^{+}}$.

Если столбцы матрицы ${\displaystyle A}$ линейно независимы, тогда матрица ${\displaystyle A^{*}A}$ обратима. В таком случае псевдообратная матрица задаётся формулой:

${\displaystyle A^{+}=(A^{*}A)^{-1}A^{*}}$.

Это эквивалентно тому, что в первой части определения через предел убирается слагаемое с ${\displaystyle \delta }$. Отсюда следует что в этом случае ${\displaystyle A^{+}}$ — левая обратная матрица для ${\displaystyle A}$ : ${\displaystyle A^{+}A=I}$ .

Если строки матрицы ${\displaystyle A}$ линейно независимы, тогда матрица ${\displaystyle AA^{*}}$ обратима. В таком случае псевдообратная матрица задаётся формулой:

${\displaystyle A^{+}=A^{*}(AA^{*})^{-1}}$.

Это эквивалентно тому, что во второй части определения через предел полагаем ${\displaystyle \delta =0}$. Отсюда следует, что в этом случае ${\displaystyle A^{+}}$ — правая обратная матрица для ${\displaystyle A}$ : ${\displaystyle AA^{+}=I}$.

Если и столбцы, и строки линейно независимы (что верно для квадратных невырожденных матриц), то псевдообращение совпадает с обращением:

${\displaystyle A^{+}=A^{-1}}$.

Если ${\displaystyle A}$ и ${\displaystyle B}$ таковы, что произведение ${\displaystyle AB}$ определено и:

• либо ${\displaystyle A^{*}A=I}$,
• либо ${\displaystyle BB^{*}=I}$,
• либо столбцы ${\displaystyle A}$ линейно независимы и строки ${\displaystyle B}$ линейно независимы,

тогда

${\displaystyle (AB)^{+}=B^{+}A^{+}}$.

Псевдообращение можно применять и к скалярам, и к векторам. Это подразумевает, что они рассматриваются как матрицы соответствующей размерности. Псевдообратный к скаляру ${\displaystyle x}$ — ноль, если ${\displaystyle x}$ — ноль, и обратный к ${\displaystyle x}$ в противном случае:

${\displaystyle x^{+}=\left\{{\begin{matrix}0,&x=0;\\x^{-1},&x\neq 0.\end{matrix}}\right.}$

Псевдообратный для нулевого вектора — транспонированый нулевой вектор. Псевдообратный для ненулевого вектора — сопряжённый транспонированный вектор, делённый на квадрат своей длины:

${\displaystyle x^{+}=\left\{{\begin{matrix}0^{T},&x=0;\\{x^{*} \over x^{*}x},&x\neq 0.\end{matrix}}\right.}$

Для доказательства достаточно проверить, что эти величины удовлетворяют определению псевдообратных.

Если ${\displaystyle (A^{*}A)^{-1}}$ существует, то из равенства:

${\displaystyle Ax=b,}$

следует

${\displaystyle A^{*}Ax=A^{*}b,}$

${\displaystyle (A^{*}A)^{-1}(A^{*}A)x=(A^{*}A)^{-1}A^{*}b,}$

${\displaystyle x=(A^{*}A)^{-1}A^{*}b,}$

что порождает понятие псевдообращения

${\displaystyle A^{+}=(A^{*}A)^{-1}A^{*}}$ .

Пусть ${\displaystyle k}$ — ранг матрицы ${\displaystyle A}$ размера ${\displaystyle m\times n}$. Тогда ${\displaystyle A}$ может быть представлена как ${\displaystyle A=BC}$, где B — матрица размера ${\displaystyle m\times k}$ с линейно независимыми столбцами и ${\displaystyle C}$ — матрица размера ${\displaystyle k\times n}$ с линейно независимыми строками. Тогда:

${\displaystyle A^{+}=C^{*}(CC^{*})^{-1}(B^{*}B)^{-1}B^{*}}$.

Если ${\displaystyle A}$ имеет полнострочный ранг, то есть ${\displaystyle k=m}$, тогда в качестве ${\displaystyle B}$ может быть выбрана единичная матрица и формула сокращается до ${\displaystyle A^{+}=A^{*}(AA^{*})^{-1}}$. Аналогично, если ${\displaystyle A}$ имеет полностолбцовый ранг, то есть, ${\displaystyle k=n}$, то ${\displaystyle A^{+}=(A^{*}A)^{-1}A^{*}}$.

Простейший вычислительный путь получения псевдообратной матрицы — использовать сингулярное разложение.

Если ${\displaystyle A=U\Sigma V^{*}}$ — сингулярное разложение ${\displaystyle A}$, тогда ${\displaystyle A^{+}=V\Sigma ^{+}U^{*}}$. Для диагональной матрицы, такой как ${\displaystyle \Sigma }$, псевдообратная получается из неё заменой каждого ненулевого элемента на диагонали на обратный к нему.

Существуют оптимизированые подходы вычисления псевдообратной для блочных матриц.

Иногда объём расчётов по нахождению псевдообратной матрицы можно сократить, если известна псевдообратная для некоторой аналогичной матрицы. В частности, если аналогичная матрица отличается от начальной на один изменённый, добавленный или удалённый столбец или строку — существуют накопительные алгоритмы, которые могут использовать взаимосвязь между матрицами.

Псевдообращение тесно связано с методом наименьших квадратов (МНК) для системы линейных уравнений^[3].

В этом методе задача решения данной системы ${\displaystyle Ax=b}$ заменяется задачей минимизации квадрата евклидовой нормы невязки ${\displaystyle \|Ax-b\|^{2}}$. На практике МНК обычно используют когда исходная система ${\displaystyle Ax=b}$ несовместна, однако ниже мы рассмотрим случай когда эта система совместна.

Общее решение неоднородной системы ${\displaystyle Ax=b}$ представимо как сумма частного решения неоднородной системы и общего решения соответствующей однородной системы ${\displaystyle Ax=0}$.

Лемма: Если ${\displaystyle (AA^{*})^{-1}}$ существует, тогда общее решение ${\displaystyle x}$ всегда представимо как сумма псевдообратного решения неоднородной системы и решения однородной системы:

${\displaystyle x=A^{*}(AA^{*})^{-1}b+(I-A^{*}(AA^{*})^{-1}A)y.}$

Доказательство:

${\displaystyle Ax}$	${\displaystyle =}$	${\displaystyle AA^{*}(AA^{*})^{-1}}$	${\displaystyle b}$	${\displaystyle +}$	${\displaystyle Ay-AA^{*}(AA^{*})^{-1}Ay}$
${\displaystyle Ax}$	${\displaystyle =}$		${\displaystyle b}$	${\displaystyle +}$	${\displaystyle Ay-Ay}$
${\displaystyle Ax}$	${\displaystyle =}$		${\displaystyle b}$	.

Здесь вектор ${\displaystyle y}$ произвольный (с точностью до размерности). В двух других членах есть псевдообратная матрица ${\displaystyle A^{*}(AA^{*})^{-1}}$. Переписав её в форме ${\displaystyle A^{+}}$, приведём выражение к форме:

${\displaystyle x=A^{+}b+(I-A^{+}A)y.}$

Первый член — псевдообратное решение. В терминах метода наименьших квадратов — это ${\displaystyle x}$, дающее минимальную евклидову норму для невязки. Следующий член даёт решение однородной системы ${\displaystyle Ax=0}$, потому что ${\displaystyle A^{+}A=A^{*}(AA^{*})^{-1}A}$ — оператор проектирования на образ оператора ${\displaystyle A^{*}}$ и, соответственно, ${\displaystyle (I-A^{+}A)}$ — оператор проектирования на ядро оператора ${\displaystyle A}$.

1. ↑  Э. Х. Мур (E. H. Moore): On the reciprocal of the general algebraic matrix. Bulletin of the American Mathematical Society 26, 394—395 (1920) http://www.ams.org/bull/1920-26-09/S0002-9904-1920-03322-7/S0002-9904-1920-03322-7.pdf
2. ↑  Роджер Пенроуз: A generalized inverse for matrices. Proceedings of the Cambridge Philosophical Society 51, 406—413 (1955)
3. ↑  Роджер Пенроуз: On best approximate solution of linear matrix equations. Proceedings of the Cambridge Philosophical Society 52, 17-19 (1956)
4. ↑  Алберт А.: Регрессия, псевдоинверсия и рекуррентное оценивание. перев. с англ. Москва, «Наука», 224 с.(1977)
5. ↑  Беклемишев Д. В.: Дополнительные главы линейной алгебры. Москва, Наука. (1983)