微忘録

好奇心に記憶力がついていかない人のブログ

集合からベイズの定理の公式までを復習

雰囲気でベイズ推定を扱うことから脱却したい。まずはベイズの定理の公式理解まで。
しかし数式だけで納得できる頭脳ではないので、具体例を添えて復習し直したので備忘録。

※本記事の情報正確性については担保できないため。体系的な書籍を購入することをお勧め致します。

集合記号

確率を扱うのに集合記号は必須。以下の基本的なもの一覧

  •  a∈A:要素aは集合Aに属する

  •  b∉A:要素bは集合Aに属さない

  •  A⊆B:集合Aは集合Bの部分集合

  •  A∪B:集合Aと集合Bの和集合(どちらか一方には属する要素の全体の集合)

  •  A∩B:集合Aと集合Bの積集合(両方に属する要素の要素全体の集合)

  •  A×B:集合Aの要素aと集合Bの要素bからなる直積集合。(  {(a,b)∣a∈A,b∈B}

事象確率

事象Xが起きる時の確率Pを、 P(X) と表す。

サイコロAを振る時に、iの面(A_i)がでる事象の確率Pは、  P(A_i)

同時確率

複数の事象X,Yが同時に起きる時の確率Pのことを P(X, Y) と表す

サイコロAとBを振る時に、Aでiの面(A_i)、Bでjの面(B_j)がでる事象の確率Pは、  P(A_i , B_j)

互いに独立(事象がその他の事象に影響しない)な場合は、独立事象として以下が成り立つ。

 P(X,Y) = P(X)P(Y)

条件付き確率

事象Xが起きる場合を条件とし、その他の事象Yが起きる確率Pのことを、  P(Y|X)または P_X (Y)と表す。

サイコロAとBに、A_iの出目とB_jの出目の偶/奇数が同じになるイカサマが仕込まれているとする。 出目A_jが起きたときを条件として、出目B_jが出る条件付き確率Pは、  \displaystyle P(B_j | A_i) = \frac{P(A_i \cap B_j)}{P(A_i)}

なお「事象Xが起きない場合を条件とした、事象Yが起きる確率P」は、  P(Y| \overline{X} )または P_\overline{X} (Y)と表す。

補足:加法定理(確率の和の法則)

事象Xまたは事象Yが起こる確率Pは、集合Xと集合Yの和集合から積集合を除いた集合部分で表される。

 P(X∪Y)=P(X)+P(Y)-P(X∩Y)

またXとYが排反事象(一方の事象が起きれば他方が決して起きない)の場合は、事象Xが起こる確率と事象Yが起こる確率の和で表される。

 P(X∪Y)=P(X)+P(Y)

補足:乗法定理(確率の積の法則)

事象Xが起こり続いて事象Yが起こる確率P(X∩Y)は、Xが起こる確率P(X)と、Xが起こったという条件のもとでYが起こる確率P(Y|X)の積で表される。

 P(X∩Y) = P(X)P(Y|X)

これは条件付き確率を式変形することで導出することもできる。

 \displaystyle P(Y | X) = \frac{P(X \cap Y)}{P(X)} \
 P(X)P(Y|X) = P(X \cap Y)

またXとYが互いに独立した事象である場合は、Xが起こる確率P(X)とYが起こる確率P(Y)の積で表される。

 P(X∩Y) = P(X)P(Y)

ベイズの定理

条件付き確率に乗法定理による式変形を行った以下がベイズの定理として表される。

 \displaystyle P(Y | X) = \frac{P(X \cap Y)}{P(X)} = \frac{P(X | Y) P(Y)}{P(X)}\

またこれは条件付き確率の式変形により、以下のように求めることができる。

条件Yにおける事象Xの確率
 \displaystyle P(Y | X) = \frac{P(X \cap Y)}{P(X)}
 P(X \cap Y) = P(Y | X)P(X)

条件Xにおける事象Yの確率
 \displaystyle P(X | Y) = \frac{P(X \cap Y)}{P(Y)}
 P(X \cap Y) = P(X | Y)P(Y)

両式の左辺が一致するので
 P(Y | X)P(X) = P(X | Y)P(Y)

これを式変形すると以下2種が得られる
 \displaystyle P(Y | X) =  \frac{P(X | Y) P(Y)}{P(X)}\
 \displaystyle P(X | Y) =  \frac{P(Y | X) P(X)}{P(Y)}\

また乗法定理の対称性からベイズ定理の式を導くこともできる。

 P(X \cap Y) = P(X)P(Y|X)
 P(X \cap Y) = P(X | Y)P(Y)
この2式を結合して、条件付き確率の式変形と同様にベイズの定理を導く

最後に

「条件付き確率」と「確率の乗法定理」を用いたのがベイズの定理であると解釈しました。
次はベイズ理論の具体例、ベイズ推定、頻度論との差異について備忘録を残します。