多変量正規分布とは？ わかりやすく解説

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/01/01 00:44 UTC 版)

「クラメール・ラオの限界」の記事における「多変量正規分布」の解説

平均値ベクトル μ ( θ ) {\displaystyle {\boldsymbol {\mu }}({\boldsymbol {\theta }})} 、分散共分散行列 C ( θ ) {\displaystyle {\boldsymbol {C}}({\boldsymbol {\theta }})} が未知母数ベクトル θ {\displaystyle {\boldsymbol {\theta }}} で定まるような、一般的な d 次元正規分布 N d ( μ ( θ ) , C ( θ ) ) {\displaystyle N_{d}\left({\boldsymbol {\mu }}({\boldsymbol {\theta }}),{\boldsymbol {C}}({\boldsymbol {\theta }})\right)} の場合、 フィッシャー情報行列の成分は、 I m , k = ∂ μ T ∂ θ m C − 1 ∂ μ ∂ θ k + 1 2 tr ⁡ ( C − 1 ∂ C ∂ θ m C − 1 ∂ C ∂ θ k ) {\displaystyle I_{m,k}={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\operatorname {tr} \left({\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{k}}}\right)} ここで "tr" は行列のトレースを表す。 より簡単な例として、平均 θ {\displaystyle \theta } が未知で分散 σ 2 {\displaystyle \sigma ^{2}} が既知の正規分布から、独立に d {\displaystyle d} 回抽出してえられる標本量ベクトルを W d {\displaystyle \mathbf {W} _{d}} とする。 W d ∼ N d ( θ 1 , σ 2 I ) {\displaystyle \mathbf {W} _{d}\sim N_{d}\left(\theta {\boldsymbol {1}},\sigma ^{2}{\boldsymbol {I}}\right)} ここで 1 {\displaystyle {\boldsymbol {1}}} は 1 を d 個並べたベクトル、 I {\displaystyle {\boldsymbol {I}}} は d 次単位行列である。未知母数が1つなのでフィッシャー情報量は I ( θ ) = ( ∂ μ ( θ ) ∂ θ ) T C − 1 ( ∂ μ ( θ ) ∂ θ ) = ∑ i = 1 d 1 σ 2 = d σ 2 {\displaystyle I(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)^{T}{\boldsymbol {C}}^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)=\sum _{i=1}^{d}{\frac {1}{\sigma ^{2}}}={\frac {d}{\sigma ^{2}}}} とスカラーで与えられ、クラメール・ラオの下限は Var ⁡ ( θ ^ ) ≥ σ 2 d {\displaystyle \operatorname {Var} ({\hat {\theta }})\geq {\frac {\sigma ^{2}}{d}}}

※この「多変量正規分布」の解説は、「クラメール・ラオの限界」の解説の一部です。
「多変量正規分布」を含む「クラメール・ラオの限界」の記事については、「クラメール・ラオの限界」の概要を参照ください。

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/11/18 08:52 UTC 版)

「フィッシャー情報量」の記事における「多変量正規分布」の解説

N個の変数の多変量正規分布についてのフィッシャー情報行列は、特別な形式を持つ。 μ ( θ ) = ( μ 1 ( θ ) , μ 2 ( θ ) , ⋯ , μ N ( θ ) ) , {\displaystyle \mu (\theta )={\begin{pmatrix}\mu _{1}(\theta ),\mu _{2}(\theta ),\cdots ,\mu _{N}(\theta )\end{pmatrix}},} であるとし、 Σ ( θ ) {\displaystyle \Sigma (\theta )} が μ ( θ ) {\displaystyle \mu (\theta )} の共分散行列であるとするなら、 X {\displaystyle X} ～ N ( μ ( θ ) , Σ ( θ ) ) {\displaystyle N(\mu (\theta ),\Sigma (\theta ))} のフィッシャー情報行列、 I m , n ( 0 ≤ ; m , n < N ) {\displaystyle {\mathcal {I}}_{m,n}\,(0\leq ;m,n<N)} の成分は以下の式で与えられる。 I m , n = ∂ μ ∂ θ m Σ − 1 ∂ μ ⊤ ∂ θ n + 1 2 t r ( Σ − 1 ∂ Σ ∂ θ m Σ − 1 ∂ Σ ∂ θ n ) , {\displaystyle {\mathcal {I}}_{m,n}={\frac {\partial \mu }{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu ^{\top }}{\partial \theta _{n}}}+{\frac {1}{2}}\mathrm {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right),} ここで、 ( . . ) ⊤ {\displaystyle (..)^{\top }} はベクトルの転置を示す記号であり、 t r ( . . ) {\displaystyle \mathrm {tr} (..)} は、平方行列のトレースを表す記号である。また、微分は以下のように定義される。 ∂ μ ∂ θ m = ( ∂ μ 1 ∂ θ m , ∂ μ 2 ∂ θ m , ⋯ , ∂ μ N ∂ θ m ) {\displaystyle {\frac {\partial \mu }{\partial \theta _{m}}}={\begin{pmatrix}{\frac {\partial \mu _{1}}{\partial \theta _{m}}},&{\frac {\partial \mu _{2}}{\partial \theta _{m}}},&\cdots ,&{\frac {\partial \mu _{N}}{\partial \theta _{m}}}\end{pmatrix}}} ∂ Σ ∂ θ m = ( ∂ Σ 1 , 1 ∂ θ m ∂ Σ 1 , 2 ∂ θ m ⋯ ∂ Σ 1 , N ∂ θ m ∂ Σ 2 , 1 ∂ θ m ∂ Σ 2 , 2 ∂ θ m ⋯ ∂ Σ 2 , N ∂ θ m ⋮ ⋮ ⋱ ⋮ ∂ Σ N , 1 ∂ θ m ∂ Σ N , 2 ∂ θ m ⋯ ∂ Σ N , N ∂ θ m ) . {\displaystyle {\frac {\partial \Sigma }{\partial \theta _{m}}}={\begin{pmatrix}{\frac {\partial \Sigma _{1,1}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{1,2}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{1,N}}{\partial \theta _{m}}}\\\\{\frac {\partial \Sigma _{2,1}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{2,2}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{2,N}}{\partial \theta _{m}}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial \Sigma _{N,1}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{N,2}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{N,N}}{\partial \theta _{m}}}\end{pmatrix}}.}

※この「多変量正規分布」の解説は、「フィッシャー情報量」の解説の一部です。
「多変量正規分布」を含む「フィッシャー情報量」の記事については、「フィッシャー情報量」の概要を参照ください。