Задача о проекции вектора на подпространство

Эту статью предлагается удалить. Пояснение причин и соответствующее обсуждение вы можете найти на странице Википедия:К удалению/15 мая 2025. Пока процесс обсуждения не завершён, статью можно попытаться улучшить, однако следует воздерживаться от переименований или немотивированного удаления содержания, подробнее см. руководство к дальнейшему действию. Не снимайте пометку о выставлении на удаление до подведения итога обсуждения. Последнее изменение сделано участником Tosha (вклад · журналы) в 22:13, 31 мая 2025 (UTC; около 28 дней назад). Администраторам и подводящим итоги: ссылки сюда история журналы удалить

Задача о проекции вектора на подпространство — нахождение ортогональной проекции вектора на подпространство, разность вектора которой с исходным вектором лежит в ортогональном дополнении. Задача имеет широкий спектр применения в математике: процессе Грама ― Шмидта, методе наименьших квадратов, методе сопряженных градиентов, анализе Фурье. Она лежит в основе решения важнейших прикладных задач, к примеру, обработки данных эксперимента. Находит применение в картографии, архитектуре, компьютерной графике и физике.

Рассмотрим ${\displaystyle R^{\prime }}$ конечномерное подпространство евклидова пространства ${\displaystyle R}$ и вектор ${\displaystyle f\notin R^{\prime }}$. Тогда существует и единственно разложение:

${\displaystyle f=g+h}$, (1)

где вектор ${\displaystyle g\in R^{\prime }}$, а вектор ${\displaystyle h}$ ортогонален подпространству ${\displaystyle R^{\prime }}$.

В разложении (1) вектор ${\displaystyle g\in R^{\prime }}$ именуется проекцией вектора ${\displaystyle f}$ на подпространство ${\displaystyle R^{\prime }}$, а вектор ${\displaystyle h}$ — перпендикуляром, опущенным из конца вектора ${\displaystyle f}$ на подпространство ${\displaystyle R^{\prime }}$^[1].

${\displaystyle ^{*}}$) Наличие (1) показывает, что все пространство ${\displaystyle R}$ есть прямая сумма подпространства ${\displaystyle R^{\prime }}$ и его ортогонального дополнения ${\displaystyle R^{\prime \prime }}$^[1]. Пусть размерности ${\displaystyle R}$ и ${\displaystyle R^{\prime }}$ соответственно равны: ${\displaystyle n}$ и ${\displaystyle k}$, тогда размерность ${\displaystyle R^{\prime \prime }}$ равна: ${\displaystyle n-k}$

Пусть в подпространстве ${\displaystyle R^{\prime }}$ дан базис ${\displaystyle \{b\}}$ ${\displaystyle =}$ ${\displaystyle \{b_{1},b_{2},\dots ,b_{k}\}}$. Найдем вектор ${\displaystyle g\in R^{\prime }}$.

Разложим искомый вектор ${\displaystyle g}$ по базису ${\displaystyle \{b_{1},b_{2},\dots ,b_{k}\}}$:

${\displaystyle g=a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k},}$

где ${\displaystyle a_{i}}$ — коэффициенты, где ${\displaystyle i=1,\ldots ,k}$

Найдем ${\displaystyle a_{i}}$

Согласно Лемме^[2], подчиним вектор ${\displaystyle h}$ условию ортогональности векторам ${\displaystyle \{b_{1},b_{2},\dots ,b_{k}\}}$.

Получим систему уравнений:

${\displaystyle {\begin{cases}(h_{,}b_{1})=0\\(h_{,}b_{2})=0\\\dots \\(h_{,}b_{k})=0\\\end{cases}}}$

где ${\displaystyle (h,b_{i})}$ — скалярное произведение, где ${\displaystyle i=1,\ldots ,k}$

${\displaystyle h=f-g}$, имеем:

${\displaystyle {\begin{cases}(f-g,b_{1})=0\\(f-g,b_{2})=0\\\dots \\(f-g,b_{k})=0\\\end{cases}}}$

Учитывая, что ${\displaystyle g=a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k},}$ имеем:

${\displaystyle {\begin{cases}(f-(a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k}),b_{1})=0\\(f-(a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k}),b_{2})=0\\\dots \\(f-(a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k}),b_{k})=0\\\end{cases}}}$

Получим систему линейных алгебраических уравнений :

${\displaystyle {\begin{cases}a_{1}(b_{1},b_{1})+a_{2}(b_{2},b_{1})+\dots +a_{k}(b_{k},b_{1})=(f,b_{1})\\a_{1}(b_{1},b_{2})+a_{2}(b_{2},b_{2})+\dots +a_{k}(b_{k},b_{2})=(f,b_{2})\\\dots \\a_{1}(b_{1},b_{k})+a_{2}(b_{2},b_{k})+\dots +a_{k}(b_{k},b_{k})=(f,b_{k})\\\end{cases}}}$

Разрешая систему, к примеру, по методу Гаусса, получим выражения для искомых коэффициентов ${\displaystyle a_{i}}$, где ${\displaystyle i=1,\ldots ,k}$

Имеем значения четырёх измерений :

${\displaystyle {\begin{array}{|c|c|}\hline x&y\\\hline 1&1\\0&0\\-1&1\\2&2\\\hline \end{array}}}$

Выберем математическую модель аппроксимации данных измерений. Пусть ${\displaystyle y=ax^{2}+bx+c}$ .

Найдем коэффициенты : ${\displaystyle (a,b,c)}$

Получим систему из четырех уравнений вида :

${\displaystyle {\begin{cases}1a+1b+1c=1\\0a+0b+1c=0\\1a-1b+1c=1\\4a+2b+1c=2\\\end{cases}}}$

Запишем систему уравнений в матричном виде:

${\displaystyle {\begin{pmatrix}1\\0\\1\\4\\\end{pmatrix}}a+{\begin{pmatrix}1\\0\\-1\\2\\\end{pmatrix}}b+{\begin{pmatrix}1\\1\\1\\1\\\end{pmatrix}}c={\begin{pmatrix}1\\0\\1\\2\\\end{pmatrix}}}$

Обозначим вектор-столбцы следующим образом :

${\displaystyle A_{1}a+A_{2}b+A_{3}c=B}$

Число уравнений в системе больше числа неизвестных. Система несовместна. Не существуют ${\displaystyle (a,b,c)}$ ${\displaystyle :}$ ${\displaystyle A_{1}a+A_{2}b+A_{3}c=B}$^[3].

Неизвестные ${\displaystyle (a,b,c)}$ определим из условия^[2] ортогональности вектора ${\displaystyle H}$ ${\displaystyle =}$ ${\displaystyle B-(A_{1}a+A_{2}b+A_{3}c)}$ вектор-столбцам ${\displaystyle A_{1},A_{2},A_{3}}$ подпространства ${\displaystyle L}$ — совокупности всех линейных комбинаций ${\displaystyle A_{i}}$^[4]. Как было указано выше, разложение ${\displaystyle B=(A_{1}a+A_{2}b+A_{3}c)+H}$ существует и единственно. Вектор ${\displaystyle (A_{1}a+A_{2}b+A_{3}c)}$ — проекция вектора ${\displaystyle B}$ на подпространство ${\displaystyle L}$. Найденные таким образом неизвестные ${\displaystyle (a,b,c)}$ будут доставлять минимум величине невязки^[3][4]: ${\displaystyle \|H\|^{2}}$${\displaystyle =}$ ${\displaystyle (B-(A_{1}a+A_{2}b+A_{3}c))^{T}}$${\displaystyle (B-(A_{1}a+A_{2}b+A_{3}c))}$.

Имеем:

${\displaystyle {\begin{cases}(H_{,}A_{1})=0\\(H_{,}A_{2})=0\\(H_{,}A_{3})=0\\\end{cases}}}$

где ${\displaystyle (H,A_{i})}$ — скалярное произведение, где ${\displaystyle i=1,\ldots ,3}$

${\displaystyle H}$ ${\displaystyle =}$ ${\displaystyle B-(A_{1}a+A_{2}b+A_{n}c)}$, имеем :

${\displaystyle {\begin{cases}(B-(A_{1}a+A_{2}b+A_{3}c),A_{1})=0\\(B-(A_{1}a+A_{2}b+A_{3}c),A_{2})=0\\(B-(A_{1}a+A_{2}b+A_{3}c),A_{3})=0\\\end{cases}}}$

Получим систему линейных алгебраических уравнений :

${\displaystyle {\begin{cases}(A_{1},A_{1})a+(A_{2},A_{1})b+(A_{3},A_{1})c=(B,A_{1})\\(A_{1},A_{2})a+(A_{2},A_{2})b+(A_{3},A_{2})c=(B,A_{2})\\(A_{1},A_{3})a+(A_{2},A_{3})b+(A_{3},A_{3})c=(B,A_{3})\\\end{cases}}}$

Воспользуемся свойством коммутативности скалярного произведения и запишем систему уравнений в виде:

${\displaystyle {\begin{cases}(A_{1}^{T}A_{1})a+(A_{1}^{T}A_{2})b+(A_{1}^{T}A_{3})c=(A_{1}^{T}B)\\(A_{2}^{T}A_{1})a+(A_{2}^{T}A_{2})b+(A_{2}^{T}A_{3})c=(A_{2}^{T}B)\\(A_{3}^{T}A_{1})a+(A_{3}^{T}A_{2})b+(A_{3}^{T}A_{3})c=(A_{3}^{T}B)\\\end{cases}}}$

Получим систему нормальных уравнений^[5].

Матрицы:

${\displaystyle A_{1}={\begin{pmatrix}1\\0\\1\\4\\\end{pmatrix}};\quad A_{2}={\begin{pmatrix}1\\0\\-1\\2\\\end{pmatrix}};\quad A_{3}={\begin{pmatrix}1\\1\\1\\1\\\end{pmatrix}};\quad B={\begin{pmatrix}1\\0\\1\\2\\\end{pmatrix}};\quad A_{1}^{T}={\begin{pmatrix}1&0&1&4\end{pmatrix}};\quad A_{2}^{T}={\begin{pmatrix}1&0&-1&2\end{pmatrix}};\quad A_{3}^{T}={\begin{pmatrix}1&1&1&1\end{pmatrix}}}$

подставим в систему нормальных уравнений и перемножим.

Получим систему линейных уравнений :

${\displaystyle {\begin{cases}18a+8b+6c=10\\8a+6b+2c=4\\6a-2b+4c=4\\\end{cases}}}$

Разрешая систему по методу Гаусса, приведем её к треугольному виду :

${\displaystyle {\begin{cases}1a+3b+2c=2\\0a-5b-5c=-4\\0a-0b-2c=-3/5\\\end{cases}}}$

Получим :

${\displaystyle c}$ ${\displaystyle =}$ ${\displaystyle 0,3}$; ${\displaystyle b}$ ${\displaystyle =}$ ${\displaystyle 0,5}$; ${\displaystyle a}$ ${\displaystyle =}$ ${\displaystyle -}$ ${\displaystyle 0,1}$

Возможны другие варианты математических моделей. К примеру, линейная зависимость ${\displaystyle y=ax+b}$. Наилучший выбор той или иной модели оценивается величиной невязки ${\displaystyle \|H\|^{2}}$.

${\displaystyle ^{*}}$) Пусть ${\displaystyle \quad A={\begin{pmatrix}A_{1}&A_{2}&A_{3}\end{pmatrix}},\quad x={\begin{pmatrix}a\\b\\c\\\end{pmatrix}}}$. Тогда выражение для вектора ${\displaystyle p}$ ${\displaystyle =}$ ${\displaystyle (A_{1}a+A_{2}b+A_{3}c)}$ (проекция вектора ${\displaystyle B}$ на подпространство ${\displaystyle L}$) примет вид : ${\displaystyle p}$ ${\displaystyle =}$ ${\displaystyle A}$${\displaystyle x}$${\displaystyle (2)}$. Cоответственно система нормальных уравнений примет вид: ${\displaystyle A^{T}Ax=A^{T}B}$, откуда ${\displaystyle x=(A^{T}A)^{-1}A^{T}B}$ ${\displaystyle (3)}$. Подставляя ${\displaystyle (3)}$ в ${\displaystyle (2)}$, получим ${\displaystyle p=A(A^{T}A)^{-1}A^{T}B}$, где согласно^[6] матрица ${\displaystyle P=A(A^{T}A)^{-1}A^{T}}$ называется матрицей проектирования.

• Шилов Г.Е. Математический анализ (конечномерные линейные пространства). — Москва: Наука, 1969. — 432 с.
• Стрэнг Г. Линейная алгебра и её применение. — Москва: Мир, 1980. — 454 с.