Теорема Карунена — Лоева

Теорема Кархунена — Лоева (названа на честь Карі Кархунена та Мішеля Лоева), також відома як теорема Косамбі — Кархунена — Лоева, це розклад випадкового процесу у вигляді нескінченної лінійної комбінації ортогональних функцій, що є аналогом представлення функції в ряд Фур'є на обмеженому інтервалі. Цей розклад тісно пов'язаний з методом головних компонент (PCA), який широко використовується в аналізі даних.

Першим хто розглянув розклад випадкового процесу у вигляді нескінченного ряду Дамодаром Дхарманандою Косамбі. Існує декілька розкладів стохастичного процесу: якщо процес заіндексований над $[a,b]$, то будь-який ортонормований базис в $L_{2}[a,b]$ задає розклад в цій формі. Важливість теореми Кархунена – Лоева полягає в тому, що вона дає найкращий базис у сенсі мінімізації середньої квадратичної помилки.

На відміну від ряду Фур'є, де коефіцієнти є фіксованими числами і базис складається з синусоїдальних функцій (тобто функцій синуса та косинуса), коефіцієнти в теоремі Кархунена – Лоева є випадковими величинами, а базис розкладання залежить від процесу. Фактично, ортогональні базисні функції, що використовуються в цьому розкладі, визначаються коваріаційною функцією процесу.

У випадку центрованого випадкового процесу ${\{X_{t}\}}_{t\in [a,b]}$ (центрований означає $\mathbf {E} [X_{t}]=0$ для всіх $t\in [a,b]$), що задовольняє умову технічної неперервності, $X$ допускає розкладання

$X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t),$

де $Z_{k}$ є попарно некорельованими випадковими величинами, а функції $e_{k}$ є неперервними дійсними функціями на $[a,b]$, які є попарно ортогональними в $L_{2}[a,b]$. Загальний випадок процесу $X_{t}$, який не є центрованим, можна повернути до випадку центрованого процесу, розглядаючи $X_{t}-\mathbf {E} [X_{t}]$, який є центрованим процесом.

Крім того, у випадку нормального процесу, випадкові величини $Z_{k}$ є нормально розподіленими і стохастично незалежними. Цей результат узагальнює перетворення Кархунена – Лоева. Важливим прикладом центрованого стохастичного процесу на $[0,1]$ є процес Вінера; теорема Кархунена – Лоева може бути використана для забезпечення канонічного ортогонального представлення для нього. У цьому випадку розкладання складається з синусоїдальних функцій.

Формулювання

• У цій статті ми розглядатимемо квадратично інтегрований випадковий процес $X_{t}$ із нульовим середнім, визначений у ймовірнісному просторі $(\Omega ,F,\mathbf {P}$ та проіндексований у замкненому інтервалі $[a,b]$ з коваріаційною функцією $K_{X}(s,t)$. Таким чином ми маємо:

${\begin{aligned}\forall t\in [a,b]\qquad &X_{t}\in L^{2}(\Omega ,F,\mathbf {P} ),\\\forall t\in [a,b]\qquad &\mathbf {E} [X_{t}]=0,\\\forall t,s\in [a,b]\qquad &K_{X}(s,t)=\mathbf {E} [X_{s}X_{t}].\end{aligned}}$

• Пов'яжемо з $K_{X}$ лінійний оператор $T_{K_{X}}$ визначений таким чином:

${\begin{aligned}T_{K_{X}}\colon \quad L^{2}([a,b])&\to L^{2}([a,b]),\\f&\mapsto T_{K_{X}}f=\int _{a}^{b}K_{X}(s,\cdot )f(s)\,{\rm {d}}s.\end{aligned}}$

Оскільки $T_{K_{X}}$ є лінійним оператором, то має сенс говорити про його власні значення ${\lambda }_{k}$ та власні функції $e_{k}$, які знаходяться за допомогою розв'язування однорідного інтегрального рівняння Фредгольма другого роду

$\int _{a}^{b}K_{X}(s,t)e_{k}(s)\,ds=\lambda _{k}e_{k}(t)$

Формулювання теореми

Теорема. Нехай $X_{t}$— квадратично інтегрований випадковий процес, визначений у ймовірносному просторі $(\Omega ,F,\mathbf {P} )$ та проіндексований на інтервалі $[a,b]$, з неперервною коваріаційною функцією $K_{X}(s,t)$.

Тоді $K_{X}(s,t)$ є ядром Мерсера, і якщо $e_{k}$ ортонормований базис в $L_{2}[a,b]$ утворений власними функціями $T_{K_{X}}$ з відповідними власними значеннями ${\lambda }_{k}$ допускає наступне представлення

$X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t),$

де збіжність в $L_{2}$, рівномірна по t і

$Z_{k}=\int _{a}^{b}X_{t}e_{k}(t)\,dt$

Крім того, випадкові величини некорельовані $Z_{k}$ мають нульове середнє та мають дисперсію $\lambda _{k}$

$\mathbf {E} [Z_{k}]=0,~\forall k\in \mathbb {N} \qquad {\mbox{and}}\qquad \mathbf {E} [Z_{i}Z_{j}]=\delta _{ij}\lambda _{j},~\forall i,j\in \mathbb {N}$

Зауважте, що за допомогою узагальнення теореми Мерсера, ми можемо замінити інтервал $[a,b]$ на будь-який компактний простір $C$ і міру Лебега на $[a,b]$, носієм якої є $C$.

Доведення

• Коваріаційна функція $K_{X}$ є ядром Мерсера. Згідно з теоремою Мерсера, отже, існує набір ${\lambda }_{k}$, $e_{k}(t)$ власних значень і власних функцій $T_{K_{X}}$ що утворюють ортонормований базис $L_{2}[a,b]$, і $K_{X}$ можна розкласти

$K_{X}(s,t)=\sum _{k=1}^{\infty }\lambda _{k}e_{k}(s)e_{k}(t)$

• Процес $X_{t}$ можна розкласти за власними функціями $e_{k}(t)$ як:

$X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)$

де коефіцієнти (випадкові величини) $Z_{k}$ є проекціями $X_{t}$ на відповідні власні функції

$Z_{k}=\int _{a}^{b}X_{t}e_{k}(t)\,dt$

• Тоді ми можемо отримати

${\begin{aligned}\mathbf {E} [Z_{k}]&=\mathbf {E} \left[\int _{a}^{b}X_{t}e_{k}(t)\,dt\right]=\int _{a}^{b}\mathbf {E} [X_{t}]e_{k}(t)dt=0\\[8pt]\mathbf {E} [Z_{i}Z_{j}]&=\mathbf {E} \left[\int _{a}^{b}\int _{a}^{b}X_{t}X_{s}e_{j}(t)e_{i}(s)\,dt\,ds\right]\\&=\int _{a}^{b}\int _{a}^{b}\mathbf {E} \left[X_{t}X_{s}\right]e_{j}(t)e_{i}(s)\,dt\,ds\\&=\int _{a}^{b}\int _{a}^{b}K_{X}(s,t)e_{j}(t)e_{i}(s)\,dt\,ds\\&=\int _{a}^{b}e_{i}(s)\left(\int _{a}^{b}K_{X}(s,t)e_{j}(t)\,dt\right)\,ds\\&=\lambda _{j}\int _{a}^{b}e_{i}(s)e_{j}(s)\,ds\\&=\delta _{ij}\lambda _{j}\end{aligned}}$

де ми використали факт, що $e_{k}$ є власними функціями $T_{K_{X}}$ і ортонормовані.

• Тепер покажемо, що збіжність відбувається в $L_{2}$. Нехай

$S_{N}=\sum _{k=1}^{N}Z_{k}e_{k}(t).$

Тоді:

${\begin{aligned}\mathbf {E} \left[\left|X_{t}-S_{N}\right|^{2}\right]&=\mathbf {E} \left[X_{t}^{2}\right]+\mathbf {E} \left[S_{N}^{2}\right]-2\mathbf {E} \left[X_{t}S_{N}\right]\\&=K_{X}(t,t)+\mathbf {E} \left[\sum _{k=1}^{N}\sum _{l=1}^{N}Z_{k}Z_{\ell }e_{k}(t)e_{\ell }(t)\right]-2\mathbf {E} \left[X_{t}\sum _{k=1}^{N}Z_{k}e_{k}(t)\right]\\&=K_{X}(t,t)+\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}-2\mathbf {E} \left[\sum _{k=1}^{N}\int _{a}^{b}X_{t}X_{s}e_{k}(s)e_{k}(t)\,ds\right]\\&=K_{X}(t,t)-\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}\end{aligned}}$

яка дорівнює 0 за теоремою Мерсера.

Властивості перетворення Кархунена – Лоева

Особливий випадок: розподіл Гауса

Оскільки ліміт в середньому спільно гаусівських випадкових величин є спільно гаусівською, а спільно гауссові випадкові (центровані) величини є незалежними, тоді і тільки тоді, коли вони ортогональні, ми також можемо зробити висновок:

Теорема. Змінні Z_i мають спільний гаусівський розподіл і є незалежними, якщо процес $\{X_{t}\}$ є гаусівським.

У випадку гаусової випадкової величини, змінні Z_i є незалежними, ми можемо сказати більше:

$\lim _{N\to \infty }\sum _{i=1}^{N}e_{i}(t)Z_{i}(\omega )=X_{t}(\omega )$

Лінійне наближення Теорема Кархунена — Лоева

Розглянемо слас сигналів які ми хочемо наблизити за допомогою $M$ базисних веторів. Ці сигнали змодельовані як реалізація випадкови веторів $Y[n]$ розміром $N$. Для оптимізації апроксимації ми реалізуємо такий базис що зменить помилку. Ця секція доводить, що накращий базис це базисКархунена — Лоева що діагоналізує $Y$. Випадковий вектор $Y$ може бути декомпонований в ортонормальний базис

$\left\{g_{m}\right\}_{0\leq m\leq N}$

а саме:

$Y=\sum _{m=0}^{N-1}\left\langle Y,g_{m}\right\rangle g_{m},$

де кожен

$\left\langle Y,g_{m}\right\rangle =\sum _{n=0}^{N-1}{Y[n]}g_{m}^{*}[n]$

це випадкова величина. Наближення перших $M<N$ векторів базиса є

$Y_{M}=\sum _{m=0}^{M-1}\left\langle Y,g_{m}\right\rangle g_{m}$

Із береження енергії в ортогональному базисі виходить

$\varepsilon [M]=\mathbf {E} \left\{\left\|Y-Y_{M}\right\|^{2}\right\}=\sum _{m=M}^{N-1}\mathbf {E} \left\{\left|\left\langle Y,g_{m}\right\rangle \right|^{2}\right\}$

Це помилка пов'язана з коваріацією $Y$ визначена як

$R[n,m]=\mathbf {E} \left\{Y[n]Y^{*}[m]\right\}$

Для будь-якого вектору $X[n]$ ми визначимо $K$ коваріаційний оператор визначений за матрицею,

$\mathbf {E} \left\{\left|\langle Y,x\rangle \right|^{2}\right\}=\langle Kx,x\rangle =\sum _{n=0}^{N-1}\sum _{m=0}^{N-1}R[n,m]x[n]x^{*}[m]$

Помилка $\varepsilon [M]$ це сума останніх $N-M$ коефіціентів коваріаційного оператору

$\varepsilon [M]=\sum _{m=M}^{N-1}{\left\langle Kg_{m},g_{m}\right\rangle }$

Коваріаційний оператор $K$ Ермітів і позитивний тому він може бути діагоналзований, в ортогональному базисі який називається базис Кархунена — Лоева. Наступна теорема стверджує, що базис Кархунена — Лоева має найменшу посику апроксимізації.

Theorem (Оптимальність Кархунена — Лоева базиса). Нехай K коваріаційний оператор. Для всіх M ≥ 1, помилка апроксимації

$\varepsilon [M]=\sum _{m=M}^{N-1}\left\langle Kg_{m},g_{m}\right\rangle$

приймає мінімальне значення тоді і тільки тоді

$\left\{g_{m}\right\}_{0\leq m<N}$

це базис Кархунена — Лоева відсортовонаний по зменшенню власних чисел.

$\left\langle Kg_{m},g_{m}\right\rangle \geq \left\langle Kg_{m+1},g_{m+1}\right\rangle ,\qquad 0\leq m<N-1.$

Приклади

Вінерівський процес

Існує декілька еквівалентних формулювань процес Вінера яка є узагальненням Броунівського руху. Тут ми розглядаєм стандартний гаусівський процесс $W_{t}$ з коваріаційною функцією

$K_{W}(t,s)=\operatorname {cov} (W_{t},W_{s})=\min(s,t).$

Ми можемо розглядаєио лише інтервал $[a,b]=[0,1]$.

Ми можемо легко порахувати власні вектори, а саме

$e_{k}(t)={\sqrt {2}}\sin \left(\left(k-{\tfrac {1}{2}}\right)\pi t\right)$

і відвідні власні числа

$\lambda _{k}={\frac {1}{(k-{\frac {1}{2}})^{2}\pi ^{2}}}.$

Щоб знайти власні числа та власні інтеграли ми маємо вирішити інтегральні рівняння

${\begin{aligned}\int _{a}^{b}K_{W}(s,t)e(s)\,ds&=\lambda e(t)\qquad \forall t,0\leq t\leq 1\\\int _{0}^{1}\min(s,t)e(s)\,ds&=\lambda e(t)\qquad \forall t,0\leq t\leq 1\\\int _{0}^{t}se(s)\,ds+t\int _{t}^{1}e(s)\,ds&=\lambda e(t)\qquad \forall t,0\leq t\leq 1\end{aligned}}$

якщо ми продиференціюємо по $t$, то ми отримаємо:

$\int _{t}^{1}e(s)\,ds=\lambda e'(t)$

після другого дифференціювання ми отримаємо аступне диффиренційне рівняння:

$-e(t)=\lambda e''(t)$

Загальний розв'язок дифференціального рівнняння виглядає так:

$e(t)=A\sin \left({\frac {t}{\sqrt {\lambda }}}\right)+B\cos \left({\frac {t}{\sqrt {\lambda }}}\right)$

$A$ і $B$ - дві константи, які визначаються з граничних умов. При підставленні $t=0$ в інтегральне рівняння ми отримаємо $e(0)=0$ з чого також отримаємо $B=0$ та, також, при $t=1$ перше диффернціювання дає $e'(1)=0$:

$\cos \left({\frac {1}{\sqrt {\lambda }}}\right)=0$

з чого ми отримаємо загальний вигляд власних чисел $T_{K_{X}}$ are:

$\lambda _{k}=\left({\frac {1}{(k-{\frac {1}{2}})\pi }}\right)^{2},\qquad k\geq 1$

Відповідні власні функції мають вигляд:

$e_{k}(t)=A\sin \left((k-{\frac {1}{2}})\pi t\right),\qquad k\geq 1$

$A$ обрана так, щоб нормалізувати $e_{k}$:

$\int _{0}^{1}e_{k}^{2}(t)\,dt=1\quad \implies \quad A={\sqrt {2}}$

Ми отримаємо представлення процесу Вінера

Theorem. Існує послідовність $\{Z_{i}\}$ незалежних Гасових випадкових величин з нульовим середнім та дисперсією 1 так щ

$W_{t}={\sqrt {2}}\sum _{k=1}^{\infty }Z_{k}{\frac {\sin \left(\left(k-{\frac {1}{2}}\right)\pi t\right)}{\left(k-{\frac {1}{2}}\right)\pi }}.$

Треба зауважити що таке представлення дійсне при $t\in [0,1].$ На більшихих інтервалах інкременти не незалежні. Як сказано в теоремі, збіжність у L² нормі і рівномірна по  t.

Броунівський міст

Подібно Броунівський міст $B_{t}=W_{t}-tW_{1}$ який є випадковим процесом з коваріацією

$K_{B}(t,s)=\min(t,s)-ts$

може бути представлений як ряд

$B_{t}=\sum _{k=1}^{\infty }Z_{k}{\frac {{\sqrt {2}}\sin(k\pi t)}{k\pi }}$

Посилання

• Stark, Henry; Woods, John W. (1986). Probability, Random Processes, and Estimation Theory for Engineers. Prentice-Hall, Inc. ISBN 978-0-13-711706-2. OL 21138080M.
• Ghanem, Roger; Spanos, Pol (1991). Stochastic finite elements: a spectral approach. Springer-Verlag. ISBN 978-0-387-97456-9. OL 1865197M.
• Guikhman, I.; Skorokhod, A. (1977). Introduction a la Théorie des Processus Aléatoires. Éditions MIR.
• Simon, B. (1979). Functional Integration and Quantum Physics. Academic Press.
• Karhunen, Kari (1947). Über lineare Methoden in der Wahrscheinlichkeitsrechnung. Ann. Acad. Sci. Fennicae. Ser. A I. Math.-Phys. 37: 1—79.
• Loève, M. (1978). Probability theory. Vol. II, 4th ed. Graduate Texts in Mathematics. Т. 46. Springer-Verlag. ISBN 978-0-387-90262-3.
• Dai, G. (1996). Modal wave-front reconstruction with Zernike polynomials and Karhunen–Loeve functions. JOSA A. 13 (6): 1218. Bibcode:1996JOSAA..13.1218D. doi:10.1364/JOSAA.13.001218.
• Wu B., Zhu J., Najm F.(2005) «A Non-parametric Approach for Dynamic Range Estimation of Nonlinear Systems». In Proceedings of Design Automation Conference(841—844) 2005
• Wu B., Zhu J., Najm F.(2006) «Dynamic Range Estimation». IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, Vol. 25 Issue:9 (1618—1636) 2006
• Jorgensen, Palle E. T.; Song, Myung-Sin (2007). Entropy Encoding, Hilbert Space and Karhunen–Loeve Transforms. Journal of Mathematical Physics. 48 (10): 103503. arXiv:math-ph/0701056. Bibcode:2007JMP....48j3503J. doi:10.1063/1.2793569. S2CID 17039075.