数理最適化とは？ わかりやすく解説

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/04/15 15:33 UTC 版)

「機械学習」の記事における「数理最適化」の解説

多くの機械学習手法はデータに対するモデル出力の誤差を定義し、誤差を最小化するようにパラメータの更新（学習）をおこなう。誤差を計算する関数、すなわち損失関数を最小化する学問体系は応用数学において数理最適化（解かれる問題は最適化問題）と呼ばれる。 例えばニューラルネットワークでは損失関数に対して微分をおこなう勾配法（確率的勾配降下法など）で学習がしばしばおこなわれる。勾配法による最適化が最適解に収束するか否かは数理最適化の理論によって研究される。また用いられる最適化法によってニューラルネットワークに課される制約も異なり、勾配法を用いるには連続する関数適用がすべて微分可能である（バックプロパゲーションが可能である）ことが求められる（生成モデルのサンプリングに強く制約を与える）。

※この「数理最適化」の解説は、「機械学習」の解説の一部です。
「数理最適化」を含む「機械学習」の記事については、「機械学習」の概要を参照ください。