Prior conjugada

En la teoría bayesiana de la probabilidad, si la distribución posterior $p(\theta \mid x)$ pertenece a la misma familia de distribuciones de probabilidad que la distribución de probabilidad ''a priori'' $p(\theta )$ , las distribuciones a priori y a posteriori se denominan entonces distribuciones conjugadas, y la a priori se denomina prior conjugada para la función de verosimilitud $p(x\mid \theta )$ .

Una prior conjugada es una conveniencia algebraica, que da una expresión de forma cerrada para la posterior; de lo contrario, puede ser necesaria la integración numérica. Además, las a priori conjugadas pueden ser más intuitivas al mostrar de forma más transparente cómo una función de verosimilitud actualiza una distribución a priori.

El concepto, así como el término "prior conjugada", fueron introducidos por Howard Raiffa y Robert Schlaifer en sus trabajos sobre la teoría bayesiana de la decisión.^[1] Un concepto similar había sido descubierto independientemente por George Alfred Barnard.^[2]

Ejemplo

La forma de prior conjugada puede determinarse generalmente mediante la inspección de la densidad de probabilidad o la función de masa de probabilidad de una distribución. Por ejemplo, consideremos una variable aleatoria que consiste en el número de aciertos $s$ en $n$ Ensayo Bernoulli con probabilidad desconocida de éxito $q$ en [0,1]. Esta variable aleatoria seguirá la distribución binomial, con una función de masa de probabilidad de la forma: $p(s)={n \choose s}q^{s}(1-q)^{n-s}$

La prior conjugada habitual es la distribución beta con parámetros ( $\alpha$ , $\beta$ ):

$p(q)={q^{\alpha -1}(1-q)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}$

Donde $\alpha$ y $\beta$ se eligen para reflejar cualquier creencia o información existente ( $\alpha =1$ and $\beta =1$ daría una distribución uniforme y $\mathrm {B} (\alpha ,\beta )$ es la función Beta que actúa como constante normalizadora.

En este contexto, $\alpha$ y $\beta$ se denominan "hiperparámetros" (parámetros a priori), para distinguirlos de los parámetros del modelo subyacente (aquí $q$ ).Una característica típica de los a priori conjugados es que la dimensionalidad de los hiperparámetros es uno mayor que la de los parámetros de la distribución original. Si todos los parámetros son valores escalares, entonces habrá un hiperparámetro más que parámetro; pero esto también se aplica a los parámetros con valores vectoriales y matriciales. (Véase el artículo general sobre la familia exponencial, y considérese también la distribución de Wishart, prior conjugado de la matriz de covarianza de una distribución normal multivariante, para un ejemplo en el que interviene una gran dimensionalidad).

Si muestreamos esta variable aleatoria y obtenemos $s$ éxitos y $f=n-s$ fallos, entonces tenemos

${\begin{aligned}P(s,f\mid q=x)&={s+f \choose s}x^{s}(1-x)^{f},\\P(q=x)&={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )},\\P(q=x\mid s,f)&={\frac {P(s,f\mid x)P(x)}{\int P(s,f\mid y)P(y)dy}}\\&={{{s+f \choose s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}\\&={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},\end{aligned}}$

que es otra distribución Beta con parámetros $(\alpha +s,\beta +f)$ . Esta distribución posterior podría utilizarse como prior para más muestras, y los hiperparámetros simplemente añadirían cada dato adicional a medida que se obtuviera.

Interpretaciones

Pseudo-observaciones

A menudo es útil pensar que los hiperparámetros de una distribución a priori conjugada corresponden a haber observado un cierto número de pseudo-observaciones con propiedades especificadas por los parámetros. Por ejemplo, los valores $\alpha$ y $\beta$ de una distribución beta puede considerarse como correspondiente a $\alpha -1$ éxitos y $\beta -1$ fallos si se utiliza el modo posterior para elegir un ajuste óptimo de los parámetros, o $\alpha$ éxitos y $\beta$ fallos si se utiliza la media posterior para elegir un ajuste óptimo de los parámetros. En general, para casi todas las distribuciones a priori conjugadas, los hiperparámetros pueden interpretarse en términos de pseudo-observaciones. Esto puede ayudar a proporcionar intuición detrás de las ecuaciones de actualización a menudo desordenadas y ayudar a elegir hiperparámetros razonables para una prioridad.

Sistema dinámico

Se puede pensar en el condicionamiento prior conjugado como la definición de una especie de sistema dinámico (en tiempo discreto): a partir de un conjunto dado de hiperparámetros, los datos entrantes actualizan estos hiperparámetros, por lo que se puede ver el cambio en los hiperparámetros como una especie de "evolución temporal" del sistema, correspondiente al "aprendizaje". Comenzando en puntos diferentes se obtienen flujos diferentes a lo largo del tiempo. Esto vuelve a ser análogo al sistema dinámico definido por un operador lineal, pero hay que tener en cuenta que, dado que muestras diferentes conducen a inferencias diferentes, esto no depende simplemente del tiempo, sino más bien de los datos a lo largo del tiempo. Para enfoques relacionados, véase Estimación bayesiana recursiva y Asimilación de datos.

Ejemplo práctico

Supongamos que en su ciudad opera un servicio de alquiler de vehículos. Los conductores pueden dejar y recoger los carros en cualquier lugar dentro de los límites de la ciudad. Puedes encontrar y alquilar los carros usando una aplicación.

Supongamos que desea averiguar la probabilidad de encontrar un vehículo de alquiler a poca distancia de su domicilio a cualquier hora del día.

Durante tres días miras la aplicación y encuentras el siguiente número de coches a poca distancia de la dirección de tu casa: $\mathbf {x} =[3,4,1]$ Supongamos que los datos proceden de una distribución de Poisson. En ese caso, podemos calcular la estimación de máxima verosimilitud de los parámetros del modelo, que es ${\textstyle \lambda ={\frac {3+4+1}{3}}\approx 2.67.}$ Utilizando esta estimación de máxima verosimilitud, podemos calcular la probabilidad de que haya al menos un coche disponible un día determinado: ${\textstyle p(x>0|\lambda \approx 2.67)=1-p(x=0|\lambda \approx 2.67)=1-{\frac {2.67^{0}e^{-2.67}}{0!}}\approx 0.93}$ Se trata de la distribución de Poisson que es la más probable que haya generado los datos observados $\mathbf {x}$ . Pero los datos también podrían proceder de otra distribución de Poisson, por ejemplo, una con $\lambda =3$ , o $\lambda =2$ , etc. De hecho, existe un número infinito de distribuciones de Poisson que podrían haber generado los datos observados. Con relativamente pocos puntos de datos, deberíamos estar bastante inseguros sobre qué distribución de Poisson exacta generó estos datos. Intuitivamente, deberíamos tomar una media ponderada de la probabilidad de $p(x>0|\lambda )$ para cada una de esas distribuciones de Poisson, ponderadas según la probabilidad de cada una de ellas, dados los datos que hemos observado $\mathbf {x}$ . Generalmente, esta cantidad se conoce como distribución predictiva posterior $p(x|\mathbf {x} )=\int _{\theta }p(x|\theta )p(\theta |\mathbf {x} )d\theta \,,$ donde $x$ es un nuevo punto de datos, $\mathbf {x}$ son los datos observados y $\theta$ son los parámetros del modelo. Utilizando el teorema de Bayes podemos expandir $p(\theta |\mathbf {x} )={\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}\,,$ por lo tanto, $p(x|\mathbf {x} )=\int _{\theta }p(x|\theta ){\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}d\theta \,.$ En general, esta integral es difícil de calcular. Sin embargo, si se elige una distribución prior conjugada $p(\theta )$ ,se puede derivar una expresión de forma cerrada. Esta es la columna de predicción posterior en las tablas siguientes.

Volviendo a nuestro ejemplo, si elegimos la distribución Gamma como nuestra distribución a priori sobre la tasa de las distribuciones Poisson, entonces la predictiva a posteriori es la distribución binomial negativa, como puede verse en la tabla siguiente. La distribución Gamma está parametrizada por dos hiperparámetros $\alpha ,\beta$ que tenemos que elegir. Observando los gráficos de la distribución gamma, elegimos $\alpha =\beta =2$ , que parece ser una prioridad razonable para el número medio de coches. La elección de hiperparámetros a priori es inherentemente subjetiva y se basa en conocimientos previos. Dados los hiperparámetros a priori $\alpha$ y $\beta$ podemos calcular los hiperparámetros posteriores ${\textstyle \alpha '=\alpha +\sum _{i}x_{i}=2+3+4+1=10}$ y ${\textstyle \beta '=\beta +n=2+3=5}$ Dados los hiperparámetros posteriores, podemos finalmente calcular la predicción posterior de ${\textstyle p(x>0|\mathbf {x} )=1-p(x=0|\mathbf {x} )=1-NB\left(0\,|\,10,{\frac {1}{1+5}}\right)\approx 0.84}$

Esta estimación mucho más conservadora refleja la incertidumbre en los parámetros del modelo, que la predicción posterior tiene en cuenta.

Tabla de distribuciones conjugadas

Sea n el número de observaciones. En todos los casos siguientes, se supone que los datos constan de n puntos $x_{1},\ldots ,x_{n}$ (que serán vectores aleatorios en los casos multivariantes).

Si la función de verosimilitud pertenece a la familia exponencial, entonces existe una prior conjugada, a menudo también en la familia exponencial; véase Familia exponencial: Distribuciones conjugadas.

Cuando la función de verosimilitud es una distribución discreta


Verosimilitud	Parámetros del modelo	Distribución a priori conjugada	Hiperparámetros a priori	Hiperparámetros a posteriori^{[nota 1]}	Interpretación de hiperparámetros	Predicción a posteriori^{[nota 2]}
Bernoulli	p (probabilidad)	Beta	$\alpha ,\,\beta \in \mathbb {R} \!$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i}\!$	$\alpha$ éxitos, $\beta$ fallas^{[nota 3]}	$p({\tilde {x}}=1)={\frac {\alpha '}{\alpha '+\beta '}}$
Binomio con número conocido de ensayos, m	p (probabilidad)	Beta	$\alpha ,\,\beta \in \mathbb {R} \!$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!$	$\alpha$ éxitos, $\beta$ fallas^{[nota 3]}	$\operatorname {BetaBin} ({\tilde {x}}\|\alpha ',\beta ')$ (beta-binomio)
Binomio negativo con número de fallos conocido, r	p (probabilidad)	Beta	$\alpha ,\,\beta \in \mathbb {R} \!$	$\alpha +rn,\,\beta +\sum _{i=1}^{n}x_{i}\!$	$\alpha$ total de éxitos, $\beta$ fallas^{[nota 3]}	$\operatorname {BetaNegBin} ({\tilde {x}}\|\alpha ',\beta ')$ (beta-binomio negativo)
Poisson	λ (rate)	Gamma	$k,\,\theta \in \mathbb {R} \!$	$k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1}}\!$	$k$ total ocurrencias en intervalos ${\frac {1}{\theta }}$	$\operatorname {NB} \left({\tilde {x}}\mid k',{\frac {1}{\theta '+1}}\right)$ (binomio negativo)
Poisson	λ (rate)	Gamma	$\alpha +\sum _{i=1}^{n}x_{i},\ \beta +n\!$	$\alpha$ total ocurrencias en intervalos $\beta$	$\operatorname {NB} \left({\tilde {x}}\mid \alpha ',{\frac {\beta '}{1+\beta '}}\right)$ (binomio negativo)
Categórica	p (vector de probabilidad), k (número de categorías; es decir, tamaño de p)	Dirichlet	${\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!$	${\boldsymbol {\alpha }}+(c_{1},\ldots ,c_{k}),$ donde $c_{i}$ es el número de observaciones de la categoría i	$\alpha _{i}$ ocurrencias de categoría $i$ ^{[nota 3]}	${\begin{aligned}p({\tilde {x}}=i)&={\frac {{\alpha _{i}}'}{\sum _{i}{\alpha _{i}}'}}\\&={\frac {\alpha _{i}+c_{i}}{\sum _{i}\alpha _{i}+n}}\end{aligned}}$
Multinomio	p (vector de probabilidad), k (número de categorías; es decir, tamaño de p)	Dirichlet	${\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!$	${\boldsymbol {\alpha }}+\sum _{i=1}^{n}\mathbf {x} _{i}\!$	$\alpha _{i}$ ocurrencias de categoría $i$ ^{[nota 3]}	$\operatorname {DirMult} ({\tilde {\mathbf {x} }}\mid {\boldsymbol {\alpha }}')$ (Dirichlet-multinomio)
Hipergeométrico con un tamaño de población total conocido, N	M (número de miembros objetivo)	Beta-binomio^[3]	$n=N,\alpha ,\,\beta \!$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!$	$\alpha$ éxitos, $\beta$ fallas^{[nota 3]}
Geométrico	p₀ (probabilidad)	Beta	$\alpha ,\,\beta \in \mathbb {R} \!$	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!$	$\alpha$ experimentos, $\beta$ falla total^{[nota 3]}

Cuando la función de verosimilitud es una distribución continua


Verosimilitud	Parámetros del modelo	Distribución a priori conjugada	Hiperparámetros a priori	Hiperparámetros a posteriori^{[nota 1]}	Interpretación de hiperparámetros	Predicción a posteriori^{[nota 5]}
Normal con varianza conocida σ²	μ (media)	Normal	$\mu _{0},\,\sigma _{0}^{2}\!$	${\frac {1}{{\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}}}\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i}}{\sigma ^{2}}}\right),\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right)^{-1}$	la media se estimó a partir de observaciones con precisión total (suma de todas las precisiones individuales) $1/\sigma _{0}^{2}$ y con media muestral $\mu _{0}$	${\mathcal {N}}({\tilde {x}}\|\mu _{0}',{\sigma _{0}^{2}}'+\sigma ^{2})$ ^[4]
Normal con precisión conocida τ	μ (media)	Normal	$\mu _{0},\,\tau _{0}^{-1}\!$	${\frac {\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}}{\tau _{0}+n\tau }},\,\left(\tau _{0}+n\tau \right)^{-1}$	la media se estimó a partir de observaciones con precisión total (suma de todas las precisiones individuales) $\tau _{0}$ y con media muestral $\mu _{0}$	${\mathcal {N}}\left({\tilde {x}}\mid \mu _{0}',{\frac {1}{\tau _{0}'}}+{\frac {1}{\tau }}\right)$ ^[4]
Normal con media conocida μ	σ² (varianza)	Gamma inverso	$\mathbf {\alpha ,\,\beta }$ ^{[nota 6]}	$\mathbf {\alpha } +{\frac {n}{2}},\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}-\mu )^{2}}}{2}}$	la varianza se estimo de observaciones $2\alpha$ con varianza muestral $\beta /\alpha$ (es decir, con suma de desviaciones al cuadrado $2\beta$ , donde las desviaciones son respecto a la media conocida $\mu$ )	$t_{2\alpha '}({\tilde {x}}\|\mu ,\sigma ^{2}=\beta '/\alpha ')$ ^[4]
Normal con media conocida μ	σ² (varianza)	Chi cuadrado inverso escalado	$\nu ,\,\sigma _{0}^{2}\!$	$\nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\nu +n}}\!$	La varianza se estimó a partir de observaciones $\nu$ con varianza muestral $\sigma _{0}^{2}$	$t_{\nu '}({\tilde {x}}\|\mu ,{\sigma _{0}^{2}}')$ ^[4]
Normal con media conocida μ	τ (precisión)	Gamma	$\alpha ,\,\beta \!$ ^{[nota 4]}	$\alpha +{\frac {n}{2}},\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2}}\!$	La precisión se estimó a partir de observaciones $2\alpha$ con varianza muestral $\beta /\alpha$ (es decir, con suma de desviaciones al cuadrado $2\beta$ , donde las desviaciones son respecto a la media conocida $\mu$ )	$t_{2\alpha '}({\tilde {x}}\mid \mu ,\sigma ^{2}=\beta '/\alpha ')$ ^[4]
Normal^{[nota 7]}	μ y σ² Suponiendo la intercambiabilidad	Gamma normal-inversa	$\mu _{0},\,\nu ,\,\alpha ,\,\beta$	${\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,$ $\beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}$ ${\bar {x}}$ es la media muestral	La media se estimó a partir de observaciones $\nu$ con media muestral $\mu _{0}$ ; la varianza se estimó a partir de observaciones $2\alpha$ con media muestral $\mu _{0}$ y suma de desviaciones al cuadrado $2\beta$	$t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\nu '\alpha '}}\right)$ ^[4]
Normal	μ y τ Suponiendo intercambiabilidad	Normal-gamma	$\mu _{0},\,\nu ,\,\alpha ,\,\beta$	${\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,$ $\beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}$ ${\bar {x}}$ es la media muestral	La media se estimó a partir de observaciones $\nu$ con media muestral $\mu _{0}$ , la varianza se estimó a partir de observaciones $2\alpha$ con media muestral $\mu _{0}$ y suma de desviaciones al cuadrado $2\beta$	$t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\alpha '\nu '}}\right)$ ^[4]
Multivariante normal con matriz de covarianza conocida Σ	μ (vector medio)	Normal multivariante	${\boldsymbol {\boldsymbol {\mu }}}_{0},\,{\boldsymbol {\Sigma }}_{0}$	$\left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}\left({\boldsymbol {\Sigma }}_{0}^{-1}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Sigma }}^{-1}\mathbf {\bar {x}} \right),$ $\left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}$ $\mathbf {\bar {x}}$ es la media muestral	la media se estimó a partir de observaciones con precisión total (suma de todas las precisiones individuales) ${\boldsymbol {\Sigma }}_{0}^{-1}$ y con media muestral ${\boldsymbol {\mu }}_{0}$	${\mathcal {N}}({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{{\boldsymbol {\Sigma }}_{0}}'+{\boldsymbol {\Sigma }})$ ^[4]
Multivariante normal con matriz de precisión conocida Λ	μ (vector medio)	Normal multivariante	$\mathbf {\boldsymbol {\mu }} _{0},\,{\boldsymbol {\Lambda }}_{0}$	$\left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)^{-1}\left({\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Lambda }}\mathbf {\bar {x}} \right),\,\left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)$ $\mathbf {\bar {x}}$ es la media muestral	la media se estimó a partir de observaciones con precisión total (suma de todas las precisiones individuales) ${\boldsymbol {\Lambda }}_{0}$ y con media muestral ${\boldsymbol {\mu }}_{0}$	${\mathcal {N}}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{{{\boldsymbol {\Lambda }}_{0}}'}^{-1}+{\boldsymbol {\Lambda }}^{-1}\right)$ ^[4]
Normal multivariante con media conocida μ	Σ (matriz de covarianza)	Wishart inverso	$\nu ,\,{\boldsymbol {\Psi }}$	$n+\nu ,\,{\boldsymbol {\Psi }}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}$	La matriz de covarianza se estimó a partir de observaciones $\nu$ con suma de productos de desviación por pares ${\boldsymbol {\Psi }}$	$t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}\|{\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\boldsymbol {\Psi }}'\right)$ ^[4]
Normal multivariante con media conocida μ	Λ (matriz de precisión)	Wishart	$\nu ,\,\mathbf {V}$	$n+\nu ,\,\left(\mathbf {V} ^{-1}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}\right)^{-1}$	La matriz de covarianza se estimó a partir de observaciones $\nu$ con suma de productos de desviación por pares $\mathbf {V} ^{-1}$	$t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}\mid {\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\mathbf {V} '}^{-1}\right)$ ^[4]
Normal multivariante	μ (vector medio) y Σ (matriz de covarianza)	Wishart normal-inverso	${\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,{\boldsymbol {\Psi }}$	${\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,$ ${\boldsymbol {\Psi }}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}$ $\mathbf {\bar {x}}$ is the sample mean $\mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}$	la media se estimó a partir de observaciones $\kappa _{0}$ con media muestral ${\boldsymbol {\mu }}_{0}$ ; la matriz de covarianza se estimó a partir de las observaciones $\nu _{0}$ con media muestral ${\boldsymbol {\mu }}_{0}$ y con suma de productos de desviación por pares ${\boldsymbol {\Psi }}=\nu _{0}{\boldsymbol {\Sigma }}_{0}$	$t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}\|{{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\boldsymbol {\Psi }}'\right)$ ^[4]
Normal multivariante	μ (vector medio) y Λ (matriz de precisión)	Wishart normal	${\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,\mathbf {V}$	${\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,$ $\left(\mathbf {V} ^{-1}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}\right)^{-1}$ $\mathbf {\bar {x}}$ is the sample mean $\mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}$	la media se estimó a partir de observaciones $\kappa _{0}$ con media muestral ${\boldsymbol {\mu }}_{0}$ ; matriz de covarianza se estimó a partir de observaciones $\nu _{0}$ con media muestral ${\boldsymbol {\mu }}_{0}$ y con suma de productos de desviación por pares $\mathbf {V} ^{-1}$	$t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\mathbf {V} '}^{-1}\right)$ ^[4]
Uniforme	$U(0,\theta )\!$	Pareto	$x_{m},\,k\!$	$\max\{\,x_{1},\ldots ,x_{n},x_{\mathrm {m} }\},\,k+n\!$	$k$ observaciones con valor máximo $x_{m}$
Pareto con un mínimo conocido x_m	k (forma)	Gamma	$\alpha ,\,\beta \!$	$\alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}\!$	$\alpha$ observaciones con suma $\beta$ del orden de magnitud de cada observación (es decir, el logaritmo de la relación entre cada observación y el mínimo $x_{m}$ )
Weibull con forma β conocida	θ (escala)	Gamma inverso^[3]	$a,b\!$	$a+n,\,b+\sum _{i=1}^{n}x_{i}^{\beta }\!$	$a$ observaciones con suma $b$ de la potencia β de cada observación
Log-normal	Igual que para la distribución normal después de aplicar el logaritmo natural a los datos para los hiperparámetros posteriores. Consulte Fink (1997, pp. 21-22) para ver los detalles.
Exponencial	λ (tasa)	Gamma	$\alpha ,\,\beta \!$ ^{[nota 4]}	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!$	$\alpha$ observaciones que suman $\beta$ ^[5]	$\operatorname {Lomax} ({\tilde {x}}\mid \beta ',\alpha ')$ (distribución Lomax)
Gamma con forma conocida α	β (tasa)	Gamma	$\alpha _{0},\,\beta _{0}\!$	$\alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i}\!$	$\alpha _{0}/\alpha$ observaciones que suman $\beta _{0}$	$\operatorname {CG} ({\tilde {\mathbf {x} }}\mid \alpha ,{\alpha _{0}}',{\beta _{0}}')=\operatorname {\beta '} ({\tilde {\mathbf {x} }}\|\alpha ,{\alpha _{0}}',1,{\beta _{0}}')$ ^{[nota 8]}
Gamma inversa con forma conocida α	β (escala inversa)	Gamma	$\alpha _{0},\,\beta _{0}\!$	$\alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}{\frac {1}{x_{i}}}\!$	$\alpha _{0}/\alpha$ observaciones que suman $\beta _{0}$
Gamma con tasa β conocida	α (forma)	$\propto {\frac {a^{\alpha -1}\beta ^{\alpha c}}{\Gamma (\alpha )^{b}}}$	$a,\,b,\,c\!$	$a\prod _{i=1}^{n}x_{i},\,b+n,\,c+n\!$	$b$ o $c$ observaciones ( $b$ para estimar $\alpha$ , $c$ para estimar $\beta$ ) con resultado $a$
Gamma	α (forma), β (escala inversa)	$\propto {\frac {p^{\alpha -1}e^{-\beta q}}{\Gamma (\alpha )^{r}\beta ^{-\alpha s}}}$	$p,\,q,\,r,\,s\!$	$p\prod _{i=1}^{n}x_{i},\,q+\sum _{i=1}^{n}x_{i},\,r+n,\,s+n\!$	$\alpha$ fue estimado de observaciones $r$ con resultado $p$ ; $\beta$ fue estimado de $s$ observaciones con suma $q$
Beta	α, β	$\propto {\frac {\Gamma (\alpha +\beta )^{k}\,p^{\alpha }\,q^{\beta }}{\Gamma (\alpha )^{k}\,\Gamma (\beta )^{k}}}$	$p,\,q,\,k\!$	$p\prod _{i=1}^{n}x_{i},\,q\prod _{i=1}^{n}(1-x_{i}),\,k+n\!$	$\alpha$ y $\beta$ fueron estimado de $k$ observaciones con resultado $p$ y producto de los complementos $q$

Notas

↑ ^a ^b Se denotan con los mismos símbolos que los hiperparámetros previos con primos añadidos ('). Por ejemplo, $\alpha$ es denotado $\alpha '$
↑ Esta es la distribución predictiva posterior de un nuevo punto de datos ${\tilde {x}}$ dados los puntos de datos observados, con la distribución marginal de los parámetros. Las variables con números primos indican los valores posteriores de los parámetros. ${\mathcal {N}}$ y $t_{n}$ se refieren a la distribución normal y a la distribución t de Student, respectivamente, o a la distribución normal multivariante y a la distribución t multivariante en los casos multivariantes.
↑ ^a ^b ^c ^d ^e ^f ^g <La interpretación exacta de los parámetros de una distribución beta en términos de número de aciertos y fallos depende de la función que se utilice para extraer una estimación puntual de la distribución. La media de una distribución beta es ${\frac {\alpha }{\alpha +\beta }},$ que corresponde a $\alpha$ éxitos y $\beta$ fallas mientras que el modo es ${\frac {\alpha -1}{\alpha +\beta -2}},$ que corresponde a $\alpha -1$ éxitos y $\beta -1$ fallas. En general, los bayesianos prefieren utilizar la media posterior en lugar de la moda posterior como estimación puntual, lo que se justifica por una función de pérdida cuadrática y el uso de $\alpha$ y $\beta$ es más conveniente desde el punto de vista matemático, mientras que el uso de $\alpha -1$ y $\beta -1$ tiene la ventaja de que ${\rm {Beta}}(1,1)$ corresponde a 0 aciertos y 0 fallos. Las mismas cuestiones se aplican a la distribución Dirichlet.>
↑ ^a ^b ^c Beta es la tasa o escala inversa. En la parametrización de la distribución gamma
↑ Esta es la distribución predictiva posterior de un nuevo punto de datos ${\tilde {x}}$ dados los puntos de datos observados, con la distribución marginal de los parámetros. Las variables con números primos indican los valores posteriores de los parámetros. ${\mathcal {N}}$ y $t_{n}$ se refieren a a la distribución normal y a la distribución t de Student, respectivamente, o a la distribución normal multivariante y a la distribución t multivariante en los casos multivariantes.
↑ En términos de la gamma inversa, beta es un parámetro de escala>
↑ Una prioridad conjugada diferente para la media y la varianza desconocidas, pero con una relación fija y lineal entre ellas, se encuentra en la mezcla varianza-media normal, con la gaussiana inversa generalizada como distribución de mezcla conjugada.
↑ < $\operatorname {CG} ()$ es una distribución gamma compuesta; $\operatorname {\beta '} ()$ aquí es una distribución beta-prima generalizada

Véase también

Distribución beta-binomial

Referencias

↑ Howard Raiffa y Robert Schlaifer (1961). «Applied Statistical Decision Theory». Division of Research, Graduate School of Business Administration, Harvard University.
↑ «Earliest Known Uses of Some of the Words of Mathematics». jeff560.tripod.com. Consultado el 28 de septiembre de 2023.
↑ ^a ^b Fink, Daniel (1997). «A Compendium of Conjugate Priors». web.archive.org. Archivado desde el original el 29 de mayo de 2009. Consultado el 3 de octubre de 2023.
↑ ^a ^b ^c ^d ^e ^f ^g ^h ⁱ ^j ^k ^l ^m Murphy, Kevin P. (2007). Conjugate Bayesian analysis of the Gaussian distribution.
↑ Liu, Han; Wasserman, Larry (2014). Statistical Machine Learning.

Datos: Q3711784

[uno-3] Se denotan con los mismos símbolos que los hiperparámetros previos con primos añadidos ('). Por ejemplo, $\alpha$ es denotado $\alpha '$

[4] Esta es la distribución predictiva posterior de un nuevo punto de datos ${\tilde {x}}$ dados los puntos de datos observados, con la distribución marginal de los parámetros. Las variables con números primos indican los valores posteriores de los parámetros. ${\mathcal {N}}$ y $t_{n}$ se refieren a la distribución normal y a la distribución t de Student, respectivamente, o a la distribución normal multivariante y a la distribución t multivariante en los casos multivariantes.

[tres-5] ↑ ^a ^b ^c ^d ^e ^f ^g <La interpretación exacta de los parámetros de una distribución beta en términos de número de aciertos y fallos depende de la función que se utilice para extraer una estimación puntual de la distribución. La media de una distribución beta es ${\frac {\alpha }{\alpha +\beta }},$ que corresponde a $\alpha$ éxitos y $\beta$ fallas mientras que el modo es ${\frac {\alpha -1}{\alpha +\beta -2}},$ que corresponde a $\alpha -1$ éxitos y $\beta -1$ fallas. En general, los bayesianos prefieren utilizar la media posterior en lugar de la moda posterior como estimación puntual, lo que se justifica por una función de pérdida cuadrática y el uso de $\alpha$ y $\beta$ es más conveniente desde el punto de vista matemático, mientras que el uso de $\alpha -1$ y $\beta -1$ tiene la ventaja de que ${\rm {Beta}}(1,1)$ corresponde a 0 aciertos y 0 fallos. Las mismas cuestiones se aplican a la distribución Dirichlet.>

[cuatro-6] Beta es la tasa o escala inversa. En la parametrización de la distribución gamma

[cinco-8] Esta es la distribución predictiva posterior de un nuevo punto de datos ${\tilde {x}}$ dados los puntos de datos observados, con la distribución marginal de los parámetros. Las variables con números primos indican los valores posteriores de los parámetros. ${\mathcal {N}}$ y $t_{n}$ se refieren a a la distribución normal y a la distribución t de Student, respectivamente, o a la distribución normal multivariante y a la distribución t multivariante en los casos multivariantes.

[seis-10] En términos de la gamma inversa, beta es un parámetro de escala>

[siete-11] Una prioridad conjugada diferente para la media y la varianza desconocidas, pero con una relación fija y lineal entre ellas, se encuentra en la mezcla varianza-media normal, con la gaussiana inversa generalizada como distribución de mezcla conjugada.

[ocho-13] < $\operatorname {CG} ()$ es una distribución gamma compuesta; $\operatorname {\beta '} ()$ aquí es una distribución beta-prima generalizada

[1] Howard Raiffa y Robert Schlaifer (1961). «Applied Statistical Decision Theory». Division of Research, Graduate School of Business Administration, Harvard University.

[2] «Earliest Known Uses of Some of the Words of Mathematics». jeff560.tripod.com. Consultado el 28 de septiembre de 2023.

[:0-7] Fink, Daniel (1997). «A Compendium of Conjugate Priors». web.archive.org. Archivado desde el original el 29 de mayo de 2009. Consultado el 3 de octubre de 2023.

[:1-9] ↑ ^a ^b ^c ^d ^e ^f ^g ^h ⁱ ^j ^k ^l ^m Murphy, Kevin P. (2007). Conjugate Bayesian analysis of the Gaussian distribution.

[12] Liu, Han; Wasserman, Larry (2014). Statistical Machine Learning.

[1]

[2]

[nota 1]

[nota 2]

[nota 3]

[3]

[nota 5]

[4]

[nota 6]

[nota 4]

[nota 7]

[5]

[nota 8]