真の分布，統計モデル，事前分布はベイズ統計の基本要素 - 匿名希望のおでんFortranツヴァイさん太郎

本稿ではベイズ統計の基本要素である真の分布，統計モデル，事前分布を説明し，真の分布のベイズ推測とは何かを説明します．参考書にしているのは渡辺（2012）*1，Watanabe（2018）*2および，渡辺澄夫先生の解説記事や講義資料です．

野外観測や実験等で我々はデータ $x^n = (x_1, \dots, x_n)$ をとります． $\forall i, x_i \in \mathbb{R}^N$ とします．これらのデータは真の分布（true distribution） $q(x)$ に従う確率変数 $X^n = (X_1, \dots, X_n)$ の実現値であると考えます．真の分布は一般的に知ることはできません．統計的推測においては，真の分布の予測分布 $p^*(x)$ （predictive distribution）を求めることが目的です．

そこで，我々は散布図やヒストグラムを書いてデータの傾向を見ながら，どんな確率分布ならデータを再現しそうかを考えます．その結果， $p(x|w)$ ならうまくいきそうだなと判断します．確率密度関数 $p(x|w)$ を統計モデルあるいは確率モデルといいます．統計モデルにはパラメータ $w \in W \subset \mathbb{R}^d$ が含まれています．統計モデルの例としては，

$p(x|\mu, \sigma) = \dfrac{1}{\sqrt{2\pi \sigma^2}} \exp \left(-\dfrac{(x - \mu)^2}{2\sigma^2} \right)$

などがあります．この例では $w = (\mu, \sigma)$ です．パラメータ $w$ が与えられた下での $x$ の分布なので，統計モデルは条件付き確率として定義されることに注意しましょう．

パラメータ $w$ と統計モデル $p(x|w)$ について，次の仮説を設定します．

パラメータがある確率分布 $\varphi(w)$ から発生し，データ $x^n$ がモデル $p(x|w)$ から独立に発生した

確率密度関数 $\varphi(w)$ を事前分布（prior distribution）といいます．

パラメータ $w$ とすべてのデータ $x^n = (x_1, \dots, x_n)$ について， $(w, x^n)$ の同時密度関数 $p(x^n, w)$ を考えると，

$\displaystyle p(w, x^n) = p(x^n|w)p(w) = p(x^n|w)\varphi(w) = \varphi(w)\prod_{i=1}^{n} p(x_i|w)$

となります．データ $x^n$ が与えられた時の $w$ の条件付き密度関数は，

$\displaystyle p(w| x^n) = \dfrac{p(w, x^n)}{p(x^n)} =\dfrac{1}{Z} \varphi(w)\prod_{i=1}^{n} p(x_i|w) \\\ Z = \int \varphi(w)\prod_{i=1}^{n} p(x_i|w)dw$