Відношення Релея

У математиці для даної комплексної ермітової матриці ${\displaystyle M}$ і ненульового вектора ${\displaystyle x}$ відношення Релея^[1] ${\displaystyle R(M,x)}$ визначають так^[2][3]:

${\displaystyle R(M,x)={x^{*}Mx \over x^{*}x}.}$

Для дійсних матриць умова ермітовості матриці зводиться до її симетричності, а ермітове спряження векторів ${\displaystyle x^{*}}$ перетворюється на звичайне транспонування ${\displaystyle x'}$. Зауважте, що ${\displaystyle R(M,cx)=R(M,x)}$ для будь-якої дійсної константи ${\displaystyle c\neq 0}$. Нагадаємо, що ермітова (як і симетрична дійсна) матриця має дійсні власні значення. Можна показати, що для матриці відношення Релея досягає мінімального значення ${\displaystyle \lambda _{\min }}$ (найменше власне число матриці ${\displaystyle M}$) коли ${\displaystyle x}$ дорівнює ${\displaystyle v_{\min }}$ (відповідний власний вектор). Так само можна показати, що ${\displaystyle R(M,x)\leq \lambda _{\max }}$ і ${\displaystyle R(M,v_{\max })=\lambda _{\max }}$. Відношення Релея використано в теоремі Куранта — Фішера про мінімакс для отримання всіх значень власних чисел^[4]. Використовується воно і в алгоритмах знаходження власних значень матриці для отримання наближення власного значення з наближення власного вектора. А саме, відношення є базою для ітерацій з відношенням Релея^[5][6].

Множину значень відношення Релея називають числовим образом матриці^[en][7][8].

Коваріаційну матрицю ${\displaystyle M}$ для багатовимірної статистичної вибірки ${\displaystyle A}$ (матриці спостережень) можна подати у вигляді добутку ${\displaystyle A'A}$^[9][10]. Як симетрична дійсна матриця, ${\displaystyle M}$ має невід'ємні власні значення і ортогональні (або звідні до ортогональних) власні вектори.

По-перше, оскільки власні значення ${\displaystyle \lambda _{i}}$ не від'ємні:

${\displaystyle Mv_{i}=A'Av_{i}=\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow v_{i}'A'Av_{i}=v_{i}'\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow \left\|Av_{i}\right\|^{2}=\lambda _{i}\left\|v_{i}\right\|^{2}}$

${\displaystyle \Rightarrow \lambda _{i}={\frac {\left\|Av_{i}\right\|^{2}}{\left\|v_{i}\right\|^{2}}}\geq 0}$

і, по-друге, оскільки власні вектори ${\displaystyle v_{i}}$ ортогональні один з одним:

${\displaystyle Mv_{i}=\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow v_{j}'Mv_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow (Mv_{j})'v_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow \lambda _{j}v_{j}'v_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow (\lambda _{j}-\lambda _{i})v_{j}'v_{i}=0}$

${\displaystyle \Rightarrow v_{j}'v_{i}=0}$, якщо власні значення різні; в разі однакових значень можна знайти ортогональний базис.

Тепер покажемо, що відношення Релея набуває найбільшого значення на векторі, відповідному найбільшому власному значенню. Розкладемо довільний вектор ${\displaystyle x}$ за базисом власних векторів ${\displaystyle v_{j}}$:

${\displaystyle x=\sum _{i=1}^{n}\alpha _{i}v_{i}}$, де ${\displaystyle \alpha _{i}={\frac {x'v_{i}}{v_{i}'v_{i}}}={\frac {\langle x,v_{i}\rangle }{\left\|v_{i}\right\|^{2}}}}$ є проєкцією ${\displaystyle x}$ на ${\displaystyle v_{i}}$

Отже, рівність

${\displaystyle R(M,x)={\frac {x'A'Ax}{x'x}}}$

можна переписати так:

${\displaystyle R(M,x)={\frac {(\sum _{j=1}^{n}\alpha _{j}v_{j})'A'A(\sum _{i=1}^{n}\alpha _{i}v_{i})}{(\sum _{j=1}^{n}\alpha _{j}v_{j})'(\sum _{i=1}^{n}\alpha _{i}v_{i})}}}$

Оскільки власні вектори ортогональні, остання рівність перетворюється на

${\displaystyle R(M,x)={\frac {\sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}{\sum _{i=1}^{n}\alpha _{i}^{2}}}=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)(v_{i}'v_{i})}}}$

Остання рівність показує, що відношення Релея є сумою квадратів косинусів кутів між вектором ${\displaystyle x}$ і кожним з власних векторів ${\displaystyle v_{i}}$, помножених на відповідне власне значення.

Якщо вектор ${\displaystyle x}$ максимізує ${\displaystyle R(M,x)}$, то всі вектори, отримані з ${\displaystyle x}$ множенням на скаляр (${\displaystyle kx}$ для ${\displaystyle k\neq 0}$) також максимізують ${\displaystyle R}$. Таким чином, задачу можна звести до знаходження максимуму ${\displaystyle \sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}$ за умови ${\displaystyle \sum _{i=1}^{n}\alpha _{i}^{2}=1}$.

Оскільки всі власні числа не від'ємні, задача зводиться до знаходження максимуму опуклої функція і можна показати, що він досягається при ${\displaystyle \alpha _{1}=1}$ і ${\displaystyle \forall i>1,\alpha _{i}=0}$ (власні значення впорядковані за спаданням).

Таким чином, відношення Релея досягає максимуму на власному векторі, відповідному найбільшому власному значенню.

Той самий результат можна отримати за допомогою множників Лагранжа. Задача полягає в знаходженні критичних точок функції

${\displaystyle R(M,x)=x^{T}Mx}$,

за сталої величини ${\displaystyle \|x\|^{2}=x^{T}x=1.}$ Тобто, потрібно знайти критичні точки функції

${\displaystyle {\mathcal {L}}(x)=x^{T}Mx-\lambda (x^{T}x-1),}$

де ${\displaystyle \lambda }$ — множник Лагранжа.

Для стаціонарних точок функції ${\displaystyle {\mathcal {L}}(x)}$ виконується рівність

${\displaystyle {\frac {d{\mathcal {L}}(x)}{dx}}=0}$

${\displaystyle \therefore 2x^{T}M^{T}-2\lambda x^{T}=0}$

${\displaystyle \therefore Mx=\lambda x}$

і ${\displaystyle R(M,x)={\frac {x^{T}Mx}{x^{T}x}}=\lambda {\frac {x^{T}x}{x^{T}x}}=\lambda .}$

Таким чином, власні вектори ${\displaystyle x_{1}\ldots x_{n}}$ матриці ${\displaystyle M}$ є критичними точками відношення Релея і їхні власні значення ${\displaystyle \lambda _{1}\ldots \lambda _{n}}$ — відповідними стаціонарними значеннями.

Ця властивість є базисом методу головних компонент і канонічної кореляції.

Теорія Штурма — Ліувілля полягає в дослідженні лінійного оператора

${\displaystyle L(y)={\frac {1}{w(x)}}\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y\right)}$

зі скалярним добутком

${\displaystyle \langle {y_{1},y_{2}}\rangle =\int _{a}^{b}w(x)y_{1}(x)y_{2}(x)\,dx}$,

де функції задовольняють деяким специфічним граничним умовам у точках ${\displaystyle a}$ і ${\displaystyle b}$. Відношення Релея тут набуває вигляду

${\displaystyle {\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y(x)\right)}dx}{\int _{a}^{b}{w(x)y(x)^{2}}dx}}.}$

Іноді це відношення подають в еквівалентному вигляді, скориставшись інтегруванням частинами^[11]:

${\displaystyle {\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(-{\frac {d}{dx}}\left[p(x)y'(x)\right]\right)}dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}}$

${\displaystyle ={\frac {-y(x)\left[p(x)y'(x)\right]|_{a}^{b}+\int _{a}^{b}{y'(x)\left[p(x)y'(x)\right]}\,dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}}$

${\displaystyle ={\frac {-p(x)y(x)y'(x)|_{a}^{b}+\int _{a}^{b}\left[p(x)y'(x)^{2}+q(x)y(x)^{2}\right]\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}.}$

Для будь-якої пари ${\displaystyle (A,B)}$ дійсних симетричних додатноозначених матриць і ненульового вектора ${\displaystyle x}$, узагальнене відношення Релея визначається як

${\displaystyle R(A,B;x):={\frac {x^{T}Ax}{x^{T}Bx}}.}$

Узагальнене відношення Релея можна звести до відношення Релея ${\displaystyle R(D,Cx)}$ перетворенням ${\displaystyle D={C^{*}}^{-1}AC^{-1}}$, де ${\displaystyle C}$ — розклад Холецького матриці ${\displaystyle B}$.

• Числовий образ матриці^[en]

• Б. Парлетт. Симметричная проблема собственных значений. Численные методы. — 1983.
• Э. Беккенббах, Р. Беллман. Неравенства. — М. : «Мир», 1965.
• Richard Haberman. Elementary applied partial differential equations. — Prentice Hall, Englewood, New Jersey, 1987.
• В. М. Вержбицкий. Численные методы (Линейная алгебра и нелинейные уравнения). — М. : «Высшая школа», 2000.
• В. В. Прасолов. Задачи и теоремы линейной алгебры. — М, 2008.
• Геворгян Л. З. Некоторые геометрические характеристики числового образа оператора. — Государственный Инженерный Университет Армении. Архівовано з джерела 31 серпня 2006.
• Zdzisław Burda, Jerzy Jurkiewicz, Bartłomiej Wacław. Eigenvalue density of empirical covariance matrix for correlated samples // Acta physica polonica B. — 2005. — Т. 36, вип. 9 (30 квітня). — С. 2642.
• Коршунов Ю. М. Получение многомерной статистической выборки с заданными корреляционными свойствами // Вестник РГРТУ. — 2008. — Вип. 23 (30 квітня). Архівовано з джерела 11 вересня 2021. Процитовано 11 вересня 2021.
• Shi Yu, Léon-Charles Tranchevent, Bart Moor, Yves Moreau. Ch. 2 // Kernel-based Data Fusion for Machine Learning: Methods and Applications in Bioinformatics and Text Mining. — Springer, 2011. Архівовано з джерела 11 вересня 2021