Перегляд вихідного коду сторінки Регуляризація (математика)

[[Файл:Regularization.svg|обрамити|Обидві функції точно описують експериментальні точки з нульовою похибкою. Навчена модель може бути схильна вибирати зелену функцію, що може бути ближчою до справжньої невідомої функції розподілу, за допомогою&nbsp;<math>\lambda</math>, ваги регуляризуючого виразу.]]
'''Регуляризація''', в математиці і [[статистика|статистиці]], а також в задачах [[машинне навчання|машинного навчання]] і {{Нп|Обернена задача|обернених задачах||Inverse problem}}, означає додавання деякої додаткової інформації, щоб знайти рішення [[Коректно поставлена задача|некоректно поставленої задачі]], або щоб уникнути [[перенавчання]].

== Використання регуляризації для класифікації ==
Регуляризацію використовують у задачах класифікації. Емпіричне навчання класифікаторів на [[Тренувальний, затверджувальний та випробувальний набори|скінченному набору даних]] завжди є недостатньо визначеною задачею, бо в загальному випадку ми намагаємось вивести функцію від довільного <math>x</math> по декільком заданим прикладам <math>x_1, x_2, ... x_n</math>.

Загалом регуляризуючий вираз <math>R(f)</math> додається до [[функція втрат|функції втрат]]:
: <math>\min_f \sum_{i=1}^{n} V(f(\hat x_i), \hat y_i) + \lambda R(f),</math>
де <math>V</math>&nbsp;— функція, що визначає похибку передбачення <math>f(x)</math> для значень <math>y</math>, (наприклад, [[Метод найменших квадратів|квадрати похибок]]), а параметр <math>\lambda</math> визначає важливість доданка для регуляризації. Зазвичай <math>R(f)</math> визначається як штраф за складність функції <math>f</math>. Зокрема, поняття складності включає обмеження на [[Гладка функція|гладкість]] та на [[Нормований простір|норму векторного простору]].<ref name=":0">{{Cite book|title=Pattern recognition and machine learning|date=2007|publisher=Springer|edition=Corr. printing.|location=New York|isbn=978-0387310732|last1=Bishop|first1=Christopher M.}}</ref>

Фактично, процедура регуляризації є спробою застосувати [[лезо Оккама]] до рішення (див. малюнок вище). З точки зору [[Баєсове висновування|баєсового висновування]], багато технік регуляризації є накладанням обмежень на [[Апріорна ймовірність|апріорний вигляд]] розподілу параметрів моделі.

=== Узагальнення ===
{{main|Похибка узагальнення}}
Регуляризація може використовуватись як спосіб покращення узагальнення для моделі у [[Машинне навчання|машинному навчанні]].

Основна задача машинного навчання полягає в тому, щоб знайти функцію, сумарна похибка передбачень якої для всіх можливих значень була б мінімальною. Очікувана похибка<math>f_{n}</math> виражається як:
: <math> I[f_n] = \int_{X \times Y} V(f_n(x),y) \rho(x,y) \, dx \, dy </math>
Зазвичай в таких задачах лише частина усіх можливих даних, частково зашумлених, є доступною для навчання. Таким чином, очікувана похибка є необчислюваною величиною, і найкраще наближення&nbsp;— це емпірична похибка, що вираховується на базі <math>N</math> доступних зразків:
: <math> I_S[f_n] = \frac{1}{n} \sum_{i=1}^N V(f_n(\hat x_i), \hat y_i) </math>
Без обмежень складності функціонального простору, в якому проводиться пошук, модель може бути навчена так, щоб відповідна їй функція проходила через кожну точку наявних даних <math>x_i</math>. Але якщо значення <math>x_i</math> містять шум, то модель може "страждати" від [[перенавчання]] і видавати погані значення очікуваних помилок. Регуляризація вводить штраф за включення зайвих областей функціонального простору, що використовується для побудови моделі і це може покращити узагальнення.

== Регуляризація Тихонова ==
{{falseredirect|Гребенева регресія}}

При навчанні лінійною функцією, такою як <math>f(x) = w \cdot x</math>, в якій <math>w</math> шуканий вектор, <math>L_2</math>-норма функції втрат відповідає регуляризації {{Нп|Тихонов Андрій Миколайович|Тихонова||Andrey Nikolayevich Tikhonov}}. Ця, одна з найбільш використовуваних форм регуляризації, виражається як:
: <math>\min_w \sum_{i=1}^{n} V(\hat x_i \cdot w, \hat y_i) + \lambda \|w\|_{2}^{2}</math>
У випадку загальної функції, ми беремо норму функції у її {{нп|Гільбертів простір з відтворювальним ядром|гільбертовому просторі з відтворювальним ядром||Reproducing kernel Hilbert space}}:
: <math>\min_f \sum_{i=1}^{n} V(f(\hat x_i), \hat y_i) + \lambda \|f\|_{\mathcal{H}}^{2}</math>
Оскільки норма <math>L_2</math> [[Диференційовна_функція#Функції_багатьох_змінних|диференційовна]], то проблема навчання з використанням регуляризації Тихонова, може бути розв'язана [[Градієнтний спуск|градієнтним спуском]].

=== Регуляризація Тихонова для методу найменших квадратів ===
Навчання з функцією втрат, вираженою [[метод найменших квадратів|методом найменших квадратів]] і регуляризація Тихонова можна розв'язати аналітично. 
: <math>\min_w \frac{1}{n} (\hat X w - \hat Y)^2 + \lambda \|w\|_{2}^{2}</math>

: <math>\nabla_w = \frac{2}{n} \hat X^T (\hat X w - \hat Y) + 2 \lambda w</math> <math>\leftarrow</math> [[Теорема Ферма|необхідна умова екстремуму]]

: <math>0 = \hat X^T (\hat X w - \hat Y) + n \lambda w</math>

: <math>w = (\hat X^T \hat X + \lambda n I)^{-1} (\hat X^T \hat Y)</math>

Відповідно до оптимізаційної задачи, інші значення <math>w</math> будуть давати більші значення для функції втрат. Це можна перевірити за допомогою другої похідної <math>\nabla_{ww}</math>.

Цей алгоритм потребує <math>O(d^3 + nd^2)</math> часу для тренування. Доданками тут є час на пошук зворотньої матриці і на обчислення <math>X^T X</math>, відповідно. Перевірка займає час <math>O(nd)</math>.

== Рання зупинка ==
Рання зупинка може бути розглянута як регуляризація в часі. Загалом, такі методики як градієнтний спуск, мають тенденцію до створення все більш і більш складних функцій з часом. За допомогою регуляризації в часі складність моделі може контролюватися. 

На практиці, для впровадження цієї методики, використовується додатковий валідаційний масив даних, статистично незалежний від того, що використовується для тренування. Модель тренується до тих пір, доки результативність на валідаційному масиві не перестає зростати. Після цього модель тестується на тестовому масиві.

== Див. також ==
* [[Виключення (нейронні мережі)]]

== Примітки ==
{{Reflist}}

== Посилання ==
* A. Neumaier, Solving ill-conditioned and singular linear systems: A tutorial on regularization, SIAM Review 40 (1998), 636—666. Available in [http://www.mat.univie.ac.at/~neum/ms/regtutorial.pdf pdf] from [http://www.mat.univie.ac.at/~neum/ author's website].
* Rosasco, L. Regularized Least Squares, Class Notes from MIT 9.520. [http://www.mit.edu/~9.520/fall15/Classes/rls.html Link]
* L. Rosasco, T. Poggio, A Regularization Tour of Machine Learning, MIT-9.520 Lectures Notes (book draft), 2015.
* Rosasco, L. Early Stopping, Class Notes from MIT 9.520. http://www.mit.edu/~9.520/fall15/Classes/early_stopping.html
* Rosasco, L. Sparsity, Class Notes from MIT 9.520. http://www.mit.edu/~9.520/fall15/Classes/sparsity.html
* Rosasco, L. Proximal Methods, Class Notes from MIT 9.520. http://www.mit.edu/~9.520/fall15/Classes/proxy.html

{{AI-stub}}

{{Диференційовні обчислення}}
{{ВП-портали|Інформаційні технології|Математика}}

[[Категорія:Математичний аналіз]]
[[Категорія:Машинне навчання]]