基礎計量経済学 講義ノート
小池 孝明
3
目次
序文
第1章
5
確率論
7
1.1
確率空間 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
1.2
条件付き確率と独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
1.3
確率変数と確率関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
1.4
確率変数の変換 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14
1.5
2 つの確率変数と同時確率関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
1.6
確率変数の同等性
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
1.7
共分散と相関係数
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
20
1.8
独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
1.9
条件付き分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
1.10
確率空間の拡張 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
26
1.11
連続な確率変数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
27
1.12
連続な多変量分布
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
1.13
確率変数の和 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
33
1.14
正規分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35
5
序文
計量経済学は経済学の理論に基づきモデルを構築し，統計学によりモデルの妥当性の実証分析を行
う学問である．ここで実証分析とは，データを用いてある主張に科学的根拠を与えることである．計
量経済学の大きな目的の一つに，科学的に因果関係とその程度を推論することがある．例として学力
向上のための朝給食制度の導入を考える．あるアンケートでは，朝食を食べていた生徒は，朝食を抜
いた生徒よりテストの点数が高かった．この結果をもとに，朝給食制度を学校に導入することで国
の学力全体が向上すると言えるだろうか．この問題はそれほど単純ではない．なぜなら，朝食の有無
は，親が子の面倒をよく見たり，家庭が教育に関心が高い故の結果かもしれず，そのような家庭では
子を塾に通わせていることが多かったために，学力が高かっただけかもしれないからである．もしそ
うであれば，朝給食を導入しても全体の学力の向上は期待できない．こういった問題に対しては，ア
ンケートのデザインは重要である．“塾に通っているか否か” などの様々な要素を勘定して，朝食の
有無以外の要素が全く同じ学生間でテストの点数を比較すれば，朝食の有無が学力に与える影響を調
べることができる．しかしながら，朝食の有無以外の全ての要素が全く同じ複数の学生は現実には存
在せず，幾つかの要素を無視することと，統計学を行う上で十分なサンプルを確保することの間に，
常にトレードオフの関係がつきまとう．自然科学との大きな違いとして，社会科学では，全く同じ状
態の 2 者を比較する実験は実質, もしくは倫理的に不可能である．本授業ではそのような中で科学的
に因果関係や因効果を推論する道具や方法を学ぶ．まず初めに，モデルや現象，主張を科学的に記述
する言葉や道具として，確率論が必要である．社会科学では問題や主張はしばしば曖昧, 複雑になる
ため，問題や主張を科学的に記述し，仮定を明確にすることによって得られる結果の限界を知ること
が重要である．次に統計学は，データからモデルを推定し，仮説を検証するために必要である．統計
学の中で変数間の関係や影響の分析は 1 つの大きなテーマであり，主に回帰分析や因果推論という分
野で扱われる．最後に，学んだ手法を実際のデータに適用し分析するためのプログラミング技術も必
要である．本授業では，統計分析に優れた言語である R 言語を学ぶ．
7
第1章
確率論
確率論は偶然起こる現象を数学により記述し，解析する学問である．現代数学の確率論は，確率の
公理，すなわち成り立つべき性質から導かれる性質を探求する公理的確率論である．確率論をより厳
密に学ぶには測度論・集合論の知識が必要であるが，本講義ではそれらの知識を極力要求せず，公理
的確率論の考え方を紹介する．
1.1 確率空間
偶 然 起 こ る 現 象 は ，確 率 空 間 (Ω, B(Ω), P) に よ っ て 数 学 的 に 定 義 さ れ る ．こ こ で Ω =
{ω1 , . . . , ωM }, M ∈ N*1 , は標本空間 (sample space) と呼ばれる，最も小さい (単位) 事象の集ま
りである．B(Ω) = {A : A ⊆ Ω}*2 は Ω の冪 (べき) 集合 (power set)*3 と呼ばれる，確率を測りた
い現象の集まりである．∅ は空集合であり，元を何も含まない集合である．∅ は任意の集合の部分
集合であるとみなす．従って，B(Ω) の定義より ∅ ∈ B(Ω) である．確率を測りたい現象に対し，
P : B → [0, 1] *4 によって確率を与える．
例 1.1.1 (コイントス). コイントスの結果を確率空間により数学的に記述すると以下のようになる．
M = 2, Ω = { 表, 裏 }，B(Ω) = {∅, { 表 }，{ 裏 }, Ω}，P(∅) = 0, P({ 表 }) = P({ 裏 }) = 1/2，
P(Ω) = 1．
確率的現象を扱うための集合の用語を定義する．A, B ⊆ Ω に対し A ∪ B = {a ∈ Ω : a ∈ A また
は a ∈ B} を A と B の和事象 (union)，A ∩ B = {a ∈ Ω : a ∈ A かつ a ∈ B} を A と B の積事象
(intersection)，Ac = Ω\A = {a ∈ Ω : a ∈
/ A} を A の補事象 (complement) と呼ぶ．A ∩ B = ∅ の
時，A と B は排反 (disjoint) であるという．
例 1.1.2. M = 4 として Ω = {ω1 , . . . , ω4 }, A = {ω1 , ω2 }, B = {ω2 , ω3 } とすると A ∪ B =
{ω1 , ω2 , ω3 }, A ∩ B = {ω2 }, Ac = {ω3 , ω4 }, A と B は A ∩ B 6= ∅ なので排反でない．一方で，A
と Ac は A ∩ B = ∅ なので排反である．
命題 1.1.3 (de Morgan の法則). A1 , A2 · · · ⊆ Ω に対し以下が成り立つ：
*1 N = {1, 2, . . . , } は自然数の集合である．標本空間は必ずしも有限個の元からなる集合，すなわち有限集合である必要
はないが，本節ではそのような場合のみを考える．
*2 ⊆ は集合間の包含関係で，A ⊆ B とは A の元 a ∈ A は必ず B に含まれる，すなわち a ∈ B であること．
*3 B(Ω) は 2Ω とも書く
*4 P は B の元 A ∈ B に対し定義され，P(A) ∈ [0, 1] であるということ
第1章
8
(i) (
(ii) (
S
T
n An )
c
n An )
c
=
=
T
S
確率論
c
n An .
c
n An .
例 1.1.4. 特に n = 2 の時 (A ∪ B)c = Ac ∩ B c と (A ∩ B)c = Ac ∪ B c が導かれる．
べき集合 B(Ω) の元は P で確率を測ることができる事象であり，以下の性質が成り立つ．
命題 1.1.5 (べき集合の性質). B = B(Ω) と書く．この時以下が成り立つ．
(i) Ω ∈ B.
(ii) A ∈ B ならば Ac ∈ B.
(iii) A1 , A2 · · · ∈ B ならば
(iv) ∅ ∈ B
(v) A1 , A2 · · · ∈ B ならば
S
T
n An ∈ B.
n An ∈ B.
(vi) A, B ∈ B ，A ⊆ B ならば B\A ∈ B.
これらの性質は，Ω が有限集合の場合では直接確認することができ，ほとんど自明である．この命
題が伝えることは，確率を測ることのできる現象を様々な形で組み合わせた集合もまた，確率を測る
ことができる現象となるということである．確率的現象 A ∈ B が起こる確率は P(A) であるが，P が
B の全ての元に矛盾なく確率を与えるためにはいくつかの性質が必要であり，それらを全て満たすも
のが確率測度と呼ばれる．
定義 1.1.6 (確率測度). P : B(Ω) → [0, 1] が (Ω, B(Ω)) 上の確率測度であるとは以下を満たすことで
ある．
(a) P(Ω) = 1．
(b) A1 , A2 , · · · ∈ B が互いに排反，すなわち i 6= j ならば Ai ∩ Aj = ∅ であるとき,
P
[
n
!
An
=
X
P(An ).
n
例 1.1.1 で定めた P は確率測度である．定義 1.1.6 の (i) および (ii) は P が矛盾なく確率を与える
ための最小の要求であり，これらの公理的性質はより直感的な以下の性質を導く．
命題 1.1.7. P : B → [0, 1] を (Ω, P) 上の確率測度とする．A, B ∈ B の時，以下が成り立つ．
(c) P(Ac ) = 1 − P(A).
(d) P(∅) = 0.
(e) A ⊆ B の時 P(A) ≤ P(B) であり P(B\A) = P(B) − P(A).
(f) (包除原理) P(A ∪ B) = P(A) + P(B) − P(A ∩ B).
証明. 概略のみ示す．
(c) 定義における公理 (b) で A1 = A, A2 = Ac , Ai = ∅, i = 3, 4, . . . とおくと，1 = P(Ω) =
P(A ∪ Ac ) = P(A) + P(Ac ) を得る．
(d) 性質 (c) で A = ∅ とおけば良い．
(e) C = B\A とおくと，C と A は排反であり C ∪ A = B であるから公理 (b) より P(B) =
P(C ∪ A) = P(C) + P(A) ≥ 0.
1.2 条件付き確率と独立性
9
(f) C = A ∩ B とおく．公理 (b) で A1 = C, A2 = A\C, A3 = B\C, Ai = ∅, i = 4, 5, . . . とお
き，性質 (e) を用いて両辺を計算することで目的の等式を得る．
上記の確率測度の定義は，Ω が有限集合でない，後述するより一般的な場合でも適用できるもの
である．Ω が有限集合，すなわちある M ∈ N を用いて Ω = {ω1 , . . . , ωM } の形で書かれる場合，
(Ω, B(Ω)) 上の確率測度は，以下を満たす M 次元確率ベクトル p = (p1 , . . . , pM ) と一対一に対応
する：
p = (p1 , . . . , pM ) ∈ [0, 1]M かつ
M
X
pi = 1.
(1.1)
i=1
すなわち， (1.1) を満たす確率の組 p = (p1 , . . . , pM ) に対し，B(Ω) 上の関数 Pp を以下で定めると，
これは (Ω, B(Ω)) 上の確率測度であることが確認できる:*5
X
Pp (A) :=
X
pi =
pi 1A (i),
A ∈ B(Ω),
(1.2)
i∈{1,...,M }
i∈IA
ここで
IA = {i ∈ {1, . . . , M } : ωi ∈ A}
は ωi ∈ A を満たす添字 i ∈ {1, . . . , M } の集合であり，
(
1A (i) =
1,
0,
i ∈ A の時,
i∈
/ A の時,
は指示関数 (indicator function) と呼ばれる．特殊な場合として，i = 1, . . . , M に対し，Pp ({ωi }) =
pi である．逆に，(Ω, B(Ω)) 上の確率測度 P に対し，pi = P({ωi }), i = 1, . . . , M ，と定めると，
p = (p1 , . . . , pM ) は (1.1) を満たし，任意の A ⊆ B(Ω) に対し P(A) は (1.2) により計算でき
PM
る．*6 以上の議論から，有限集合 Ω 上で確率測度を定める場合は， i=1 pi = 1 を満たす確率の組
p = (p1 , . . . , pM ) ∈ [0, 1]M を定めれば十分である．
1.2 条件付き確率と独立性
確率空間 (Ω, B(Ω), P) において，ある事象 B ∈ B が起きた後，さらに別の事象 A ∈ B が起きる確
率を考える．このような確率を条件付き確率という．
定義 1.2.1 (条件付き確率). P(B) > 0 とする．この時
P(A | B) =
P(A ∩ B)
P(B)
(1.3)
を B のもとでの A の条件付き確率と呼ぶ．
P(A ∩ B) ≤ P(B) であるから P(A | B) ∈ [0, 1] である．P(B) > 0 でなければ B はそもそも起き
ないので，条件付き確率を定義することができない．
*5 定義 1.1.6 の (a), (b) を直接確認することで示すことができる．
*6 定義 1.1.6 の性質 (b) から分かる．
第1章
10
確率論
補足 1.2.2. B を固定した上で，条件付き確率 (1.3) を B の部分集合 A の関数とみなし PB : B(B) →
[0, 1] と書く．この時 PB (B) = 1 であり，PB は B を標本空間に取り直した時の確率測度と見ること
ができる．すなわち，(B, B(B), PB ) は確率空間である．
例 1.2.3 (非復元抽出). 箱の中に赤玉が 1 つ，青玉が 2 つあり，そこから 1 度出した玉を戻さず 2 回
抽出する．標本空間 Ω を，元 ω = (ω1 , ω2 ) ∈ Ω の ω1 が 1 回目の玉の色，ω2 が 2 回目の玉の色を表
すものととる．この時，
Ω = {(赤，青), (青，赤), (青，青)}
であり，Ω の各元に対し確率を以下で定める：
1
1
×1= ,
3
3
2 1
1
P({(青，赤)}) = × = ,
3 3
3
1
2 1
P({(青，青)}) = × = .
3 2
3
P({(赤，青)}) =
今，
A = {2 回目が赤 } = {(青，赤)}，
B = {1 回目が青 } = {(青，赤), (青，青)}
とすると，A ∩ B = {(青，赤)} であり，
P(A | B) =
1/3
1
=
1/3 + 1/3
2
となる．これは 1 回目が青という条件のもとで 2 回目が赤となる条件付き確率である．
非復元抽出の例では，P(A) = 1/3 で P(A | B) = 1/2 であるから，B が起きたことによって A の
起こりやすさが変化している．すなわち，事象 B が事象 A の確率に影響を与えている．このような
とき，A と B は従属しているという．一方で，事象同士が互いに他方の起こる確率に影響を与えな
いとき，二つの事象は独立であるという．
定義 1.2.4. A, B ∈ B(Ω) とする．P(A ∩ B) = P(A) × P(B) のとき，A と B は独立 (independent,
A ⊥⊥ B) であるという．独立でない時，A と B は従属 (dependent, A 6⊥⊥ B) しているという．
P(B) > 0 の時，A と B が独立であることと P(A | B) = P(A) は同値である．例 1.2.3 において
A と B は従属している．次に独立な事象の例を挙げる．
例 1.2.5 (2 回のコイントス). 標本空間 Ω を，元 ω = (ω1 , ω2 ) ∈ Ω の ω1 が 1 回目のコインの表裏，
ω2 が 2 回目にコインを投げた時の表裏を表すものととる．この時，
Ω = {(表，表), (表，裏), (裏，表), (裏，裏)}
である．Ω の各元に対し，P({ω}) = 1/4, ω ∈ Ω, とする．A = {1 回目が表 }，B = {2 回目が裏 }
とすると
A = {(表，表), (表，裏)},
B = {(表，裏), (裏，裏)}
1.3 確率変数と確率関数
11
であり，
1 1
1
+ = ,
4 4
2
1 1
1
P(B) = + = ，
4 4
2
P(A) =
P(A ∩ B) = P({(表，裏)}) =
1
4
であるから P(A ∩ B) = P(A) × P(B) が成り立つ，すなわち A と B は独立である．
1.3 確率変数と確率関数
確率変数とは，確率的に値を取る数のことであり，1.1 節で学んだ確率論の枠組みでは，(Ω, B(Ω), P)
上の関数として定義される．ある確率変数 X : Ω → R*7 に対し，定義域，値域それぞれの部分集合
A ⊆ Ω, B ⊆ R を考える．この時，
X(A) = {X(ω) : ω ∈ A} ⊆ R
を X による A の像と呼び，
X −1 (B) = {ω ∈ Ω : X(ω) ∈ B} = {X ∈ B} ⊆ Ω
を X による B の逆像と呼ぶ．特に x ∈ R に対し {X ∈ {x}} を簡単のため {X = x} と書く．確率
変数 X が B ⊆ R の中に値を取る確率は以下で与えられる：
P(X ∈ B) := P(X −1 (B)).
例 1.3.1 (コイントスと賭け). 例 1.1.1 にてコインが表の時に 100 ドルを儲け，裏の時に 50 ドルを
失う賭けの損益を X とおく．この時，X は確率変数であり X(表) = 100，X(裏) = −50 と定めれ
ば良い．また，
{X = 100} = {ω ∈ Ω : X(ω) = 100} = { 表 },
{X = −50} = {ω ∈ Ω : X(ω) = −50} = { 裏 }
であるから，P(X = 100) = 1/2，P(X = −50) = 1/2 である．
確率変数が取りうる値とその確率は関数の形で記述することができる．
定義 1.3.2 (確率関数). X を (Ω, B(Ω), P) 上の確率変数とする．
(i) pX (x) = P(X = x), x ∈ R, を X の確率質量関数 (probability mass function, pmf) と呼ぶ．
(ii) FX (x) = P(X ≤ x), x ∈ R, を X の累積分布関数 (cumulative distribution function, cdf)
と呼ぶ．
(iii) supp(X) = {x ∈ R : pX (x) > 0} を X の台 (support) と呼ぶ．
例 1.3.3. 例 1.3.1 で定めた X に対し，pX (100) = pX (−50) = 1/2 であり， x ∈
/ {100, −50} に対
し pX (x) = 0 である．よって supp(X) = {100, −50} である．また


P(∅) = 0,
FX (x) = P(X = −50) = 21 ,


P(X ∈ {−50, 100}) = P(Ω) = 1,
*7 R = (−∞, ∞) は実数全体の集合である．
x < −50,
−50 ≤ x < 100,
100 ≤ x.
第1章
12
確率論
確率関数は通常の関数にはないいくつかの性質を持つ．以下は確率関数の定義と確率測度 P の性
質から従うものである．
命題 1.3.4. X を (Ω, B(Ω), P) 上の確率変数とする．
(i) 0 ≤ pX (x) ≤ 1, x ∈ R.
P
(ii)
x∈supp(X) pX (x) = 1.
(iii) 0 ≤ FX (x) ≤ 1, x ∈ R.
(iv) FX は (広義) 単調増加関数，すなわち x ≤ y に対し FX (x) ≤ FX (y) である．
証明. (i) および (iii) は P が [0, 1] に値を取ることから自明である．(ii) は {X = x}，x ∈ supp(X)
が互いに排反で
S
x∈supp(X) {X
= x} = Ω となることから従う．最後に，(iv) は x ≤ y に対し
{X ≤ x} ⊆ {X ≤ y} となることから従う．
次に，pmf と cdf の対応関係を考察する．supp(X) の元の数を M ′ とし，それらを昇順に並び替
えて x1 < · · · < xM ′ と書く．この時，cdf の定義より
FX (x) =
X
X
pX (y) =
y∈supp(X), y≤x
pX (y)1(−∞,x] (y)
y∈supp(X)
であり，特に i ∈ {1, . . . , M ′ } に対し x = xi とおくことで以下が成り立つ：
FX (xi ) =
i
X
pX (xj ).
j=1
またこの式より，i ∈ {1, . . . , M ′ } に対し以下が成り立つ：
pX (xi ) = FX (xi ) − FX (xi−1 ),
ここで x0 ∈ R は x0 < x1 を満たす任意の実数であり，FX (x0 ) = 0 である．以上の考察から，FX
は点 x1 , . . . , xM ′ でジャンプが起きる階段関数であり，
(
FX (x) =
0,
1,
x < x1 ,
xM ′ ≤ x,
また pX (x1 ), . . . , pX (xM ′ ) は各ジャンプの幅を表すことが分かる．
補足 1.3.5. 確率関数は確率変数から定められるが，逆にある関数が与えられた時に，その関数を
pmf に持つ確率変数を定めることができる．p : R → [0, 1] を以下の形をした関数とする：
(
pi , x = xi , i = 1, . . . , M,
p(x) =
0, その他,
ここで p1 , . . . , pM は (1.1) を満たすとする．この時，標本空間を Ω = {ω1 , . . . , ωM } と取り，確率測
度を P({ωi }) = pi , i = 1, . . . , M ，により定め，確率変数 X を
X(ωi ) = xi ,
1, . . . , M,
と定めれば，この確率変数 X は関数 p を pmf に持つ．
次の例では，pmf により確率法則を定めている．
1.3 確率変数と確率関数
13
例 1.3.6 (離散一様分布). M 個の異なる点の集合 S = {x1 , . . . , xM } ⊂ R に対し，確率変数 X が以
下の pmf を持つ時，X は S 上の (離散) 一様分布に従うといい，X ∼ U (S) と書く：
(
pX (x) =
1
M,
0,
x ∈ S,
x∈
/ S.
またこの時，cdf は以下で与えられる：
1 X
1(−∞,xi ] (x).
FX (x) =
M i=1
M
確率変数は確率空間上で定義される関数であるが，我々の関心は主に X の取りうる値とそれら
が起こる確率にあり．それらは pmf や cdf で記述される．確率空間は同一の現象を表すのに一意で
はなく，その複雑さによっては表現できない現象もある．一方で pmf や cdf は確率空間の選び方に
よらず現象を一意に表す．これらの理由から，現象の確率的振る舞いを確率関数で記述したとき，
背後の確率空間は改めて記述する必要がないことが多い．例として，S = {1, 2}, S ′ = {1, 2, 3, 4}
とし X ∼ U (S)，X ′ ∼ U (S ′ ) なる 2 つの確率変数を考える．X を 2 つの元からなる標本空間
Ω = {ω1 , ω2 } 上に, X ′ を 4 つの元からなる標本空間 Ω′ = {ω1′ , . . . , ω4′ } 上にそれぞれ，補足 1.3.5
で行ったように構成する．この時，Ω′ 上で X と同様の pmf を持つ確率変数を以下のように構成で
きる：
(
Y (ω) =
1,
2,
ω ∈ {ω1 , ω2 } の時，
ω ∈ {ω3 , ω4 } の時.
一方で，Ω 上で X ′ と同様の pmf を持つ確率変数を構成することはできない．なぜなら，Ω は元を 2
つしか持たないからである．このように，確率空間は関心のある現象を表せる程度十分に豊かである
必要があるが，所与の pmf に対し一意には決まらない．以後，確率空間に言及せず確率法則を確率
関数により定めた時，背後の確率空間はその確率関数を持つ確率変数を定めるのに十分豊かなものが
選択されていると暗に仮定する．
確率変数の持つ確率法則は確率関数によって記述されるが，その特徴は平均や分散といった量に
よってより簡潔にまとめられる．
定義 1.3.7 (平均と分散). X を (Ω, B(Ω), P) 上の確率変数とする．
(i) E[X] =
P
x∈supp(X) x pX (x) を X の期待値 (expectation) もしくは平均 (mean) と呼び，µX
で表す．
(ii) Var[X] = E[(X − µX )2 ] =
で表す．
(iii) SD(X) =
p
P
x∈supp(X) (x − µX )
2
2
pX (x) を X の分散 (variance) と呼び，σX
Var(X) = σX を X の標準偏差 (standard deviation) と呼ぶ．
2
µX は X が取る量を，起こる確率で加重平均したものである．σX
は X のばらつき，すなわち平
均からの乖離しやすさの指標であり，正負を問わないので 2 乗しているが，これにより X と単位が
異なるので，平方根を取った σ もよく用いられる．
第1章
14
確率論
例 1.3.8. 例 1.3.1 で定める X に対し
1
1
+ (−50) × = 25，
2
2
1
1
Var(X) = (100 − 25)2 × + (−50 − 25)2 × = 752 ,
2
2
SD(X) = 75.
E[X] = 100 ×
1.4 確率変数の変換
(Ω, B(Ω), P) 上のある確率変数 X が確率質量関数 pX をもつとし，2 つの実数 a, b ∈ R, a 6= 0，に
対し，Y = aX + b なる新たな確率変数を考える．この時， Y の確率質量関数を pY とすると
y−b
pY (y) = P(Y = y) = P X =
a
= pX
y−b
a
(1.4)
となる．これは X を線形変換した場合だが，より一般の変換に対して同様の性質が成り立つことが
確かめられる．
命題 1.4.1 (確率変数の変換). (Ω, B(Ω), P) 上の確率変数 X に対し，その台 supp(X) を X =
{x1 , . . . , xM } と表す．関数 g : R → R に対し確率変数 Y = g(X) と以下の集合を定める：
Y = g(X ) = {g(x) : x ∈ X }.
もし g|X : X → Y が全単射*8 であれば，以下が成り立つ：
(
pY (y) =
pX (g −1 (y)),
0,
y ∈ Y,
その他．
例 1.4.2. X を {1, 2, 3} 上の一様分布とする．関数 g(x) = x2 , x > 0, に対し，g −1 (y) =
√
y ，y > 0
である. よって Y の pmf は以下で得られる：
√
pY (y) = pX ( y) =
(
1
3,
y ∈ {1, 4, 9},
0,
その他，
すなわち，Y は {1, 4, 9} 上の一様分布であり，変換 g によって台は変化するが確率の一様性は保た
れる．
以下の例が示すように，g|X が全単射でない場合は注意が必要である．
例 1.4.3. 確率変数 X を X = {−1, 0, 1} 上の一様分布とする．関数 g(x) = x2 , x ∈ R, に対し，
Y = {0, 1} である．この時，X の二つの元 −1 と 1 が Y の同一の元 1 に対応するので，g|X は全単
射でない．この時，Y の pmf は以下で定められ，確率変数 Y は一様に分布しない：
pY (0) = P(Y = 0) = P(X = 0) = 1/3,
pY (1) = P(X 2 = 1) = P({X = 1} ∪ {X = −1}) = P(X = 1) + P(X = −1) = 2/3,
pY (y) = 0,
y∈
/ Y.
*8 yi = g(xi ), i = 1, . . . , M ，とおいたときに Y = {y1 , . . . , yM } が成り立ち，かつ任意の i, j ∈ {1, . . . , M } に対し
xi ̸= xj と yi ̸= yj が同値であること．
1.5 2 つの確率変数と同時確率関数
15
確率変数の変換により，期待値や分散，標準偏差が変化する．線形変換の場合， (1.4) を用いて直
接計算することで以下の公式を確かめることができる．
命題 1.4.4 (線形変換の期待値，分散). (Ω, B(Ω), P) 上の確率変数 X と 2 つの実数 a, b ∈ R, a 6= 0，
に対し，以下が成り立つ．
(i) E[aX + b] = aE[X] + b.
(ii) Var(aX + b) = a2 Var(X).
(iii) SD(aX + b) = |a| SD(X).
例 1.4.5 (標準化，standardization). 平均 µ ∈ R，分散 σ 2 > 0 を持つ確率変数 X に対し，
Y =
X −µ
σ
を X の標準化と呼ぶ．この時，命題 1.4.4 より Y は平均 0，分散 1 を持つことが確かめられる．
1.5 2 つの確率変数と同時確率関数
確率空間 (Ω, B(Ω), P) 上の 2 つの確率変数 X, Y : Ω → R を考える．1.3 節で学んだように，それ
ぞれの X,Y に対して確率法則は pmf や cdf により記述されるが，X と Y の関係を記述するには X
と Y の確率法則を同時に考える必要がある．
定義 1.5.1 (同時確率関数). X ，Y を同一の確率空間 (Ω, B(Ω), P) 上の確率変数とする．
(i) pX,Y (x, y) = P(X = x, Y = y) を X と Y の同時確率質量関数 (joint pmf) と呼ぶ．
(ii) FX,Y (x, y) = P(X ≤ x, Y ≤ y) を X と Y の同時累積分布関数 (joint cdf) と呼ぶ．
(iii) supp(X, Y ) = {(x, y) ∈ R2 : pX,Y (x, y) > 0} を (X, Y ) の台と呼ぶ．
はじめに pmf の性質をまとめる．
命題 1.5.2 (同時 pmf の性質).
(i) 0 ≤ pX,Y (x, y) ≤ 1, (x, y) ∈ R2 .
P
(ii)
(x,y)∈supp(X,Y ) pX,Y (x, y) = 1.
(iii) (周辺化)
X
pX,Y (x, z) = pX (x),
z∈supp(Y )
X
pX,Y (z, y) = pY (y).
z∈supp(X)
証明. (i) お よ び (ii) は 自 明 な の で ，(iii) の み 示 す ．x ∈ supp(X) を 固 定 す る ．こ の 時 ，
S
z∈supp(Y ) {Y
= z} = Ω であり，事象 {X = x, Y = z}, z ∈ supp(Y ), は互いに排反であるから，
以下が成り立つ：
X


pX,Y (x, z) = P {X = x} ∩ 
z∈supp(Y )
pY (y) の方も同様にして示される．
[
z∈supp(Y )

{Y = z} = P(X = x) = pX (x).
第1章
16
確率論
x ∈ supp(X) を固定する．z ∈ supp(Y ) に対し pY (z) > 0 であるが，pX,Y (x, z) ≤ pY (z) であ
るから必ずしも pX,Y (x, z) > 0 とは限らない．これを満たす supp(Y ) の部分集合は以下で定めら
れる：
supp(x, Y ) = {y ∈ R : (x, y) ∈ supp(X, Y )}.
同様に，固定された y ∈ supp(Y ) に対し以下を定める：
supp(X, y) = {x ∈ R : (x, y) ∈ supp(X, Y )}．
この時，pmf の周辺化は，和に 0 を含まない形で以下のように書かれる：
X
pX,Y (x, z) = pX (x),
z∈supp(x,Y )
X
pX,Y (z, y) = pY (y).
z∈supp(X,y)
次に同時 cdf の性質をまとめる．
命題 1.5.3 (同時 cdf の性質).
(i) 0 ≤ FX,Y (x, y) ≤ 1.
(ii) FX,Y は (広 義) 短 調 増 加 関 数 で あ る ．す な わ ち x ≤ x′ , y ≤ y ′ に 対 し FX,Y (x, y) ≤
FX,Y (x′ , y ′ ).
(iii) (周辺化) ȳ = max{supp(Y )} および x̄ = max{supp(X)} と書く. この時，以下が成り立つ：
lim FX,Y (x, y) = FX (x),
y→ȳ
lim FX,Y (x, y) = FY (y).
x→x̄
証明. (i) および (ii) は自明なので，(iii) のみ示す．x ∈ supp(X) を固定すると，{Y ≤ ȳ} = Ω より
lim FX,Y (x, y) = P ({X ≤ x} ∩ {Y ≤ ȳ}) = P(X ≤ x) = FX (x).
y→ȳ
FY (y) の方も同様にして示される．
FX,Y に対し FX ，FY を周辺累積分布関数 (marginal cdf) と呼ぶ．pX,Y に対して，pX , pY を周
辺確率質量関数 (marginal pmf) と呼ぶ．同時確率関数に対して，周辺確率関数は周辺化によって得
られるので，同時確率関数は周辺確率関数の組よりも多くの情報を含んでいると言える．より具体的
には，周辺確率関数の組は X と Y それぞれの確率的振る舞いのみを記述しているが，同時確率関数
は X と Y の関係性，すなわち X に関する事象と Y に関する事象が互いの起こりやすさに与える影
響も含めて記述している．
同時 pmf と同時 cdf の対応関係を調べる．supp(X) および supp(Y ) の元をそれぞれ昇順に並び替
えて，x1 < · · · < xM および y1 < · · · < yM ′ と書く．一般に M = M ′ とは限らない．この時，cdf
の定義より
X
FX,Y (x, y) =
pX,Y (v, w)
(v,w)∈supp(X,Y ), v≤x, w≤y
=
X
(v,w)∈supp(X,Y )
pX,Y (v, w)1(−∞,x]×(−∞,y] (v, w)
1.5 2 つの確率変数と同時確率関数
17
であり，特に i ∈ {1, . . . , M }，j ∈ {1, . . . , M ′ } に対し x = xi ，y = yj とおくことで以下が成り
立つ：
FX,Y (xi , yj ) =
j
i X
X
pX,Y (xk , yl ).
k=1 l=1
またこの式より以下が成り立つ：
pX,Y (xi , yj ) = FX,Y (xi , yj ) − FX,Y (xi−1 , yj ) − FX,Y (xi , yj−1 ) + FX,Y (xi−1 , yj−1 ),
ここで x0 , y0 ∈ R は x0 < x1 , y0 < y1 を満たす任意の実数であり，任意の x, y ∈ R に対し
FX,Y (x0 , y) = FX,Y (x, y0 ) = 0 である．以上の考察から，FX,Y は点 (xi , yj ), i ∈ {1, . . . , M }，
j ∈ {1, . . . , M ′ }，で幅 pX (xi , yj ) のジャンプが起きる階段関数であり，
(
FX,Y (x, y) =
0,
1,
x < x1 または y < y1 ,
xM ≤ x かつ yM ′ ≤ y
となることがわかる．
例 1.5.4 (一様分布). X = {x1 . . . , xM }, Y = {y1 . . . , yM } とおく．いずれも M 個の元は全て異な
るとする．S = {(x1 , y1 ), . . . , (xM , yM )} ⊆ R2 に対し，確率変数の組 (X, Y ) が以下の同時 pmf を
持つとする：
(
pX,Y (x, y) =
(x, y) ∈ S,
(x, y) ∈
/ S.
1
M,
0,
この時，(X, Y ) は S 上の一様分布に従うといい，(X, Y ) ∼ U (S) とかく．X,Y の周辺 pmf は，計
算により以下で得られる：
(
pX (x) =
(
x ∈ X,
x∈
/ X,
1
M,
0,
pY (y) =
1
M,
0,
x ∈ Y,
x∈
/ Y.
従って X ∼ U (X ), Y ∼ U (Y) であることが分かる．
本節の概念は，一般の n 個の確率変数 X1 , . . . , Xn に対して拡張することができる．これらの確率
変数が同一の確率空間 (Ω, B(Ω), P) 上に定義されているとし，X = (X1 , . . . , Xn ) とおく．この時，
確率ベクトル X の同時確率質量関数は
pX (x) = P
n
\
!
{Xi = xi } ,
x = (x1 , . . . , xn ) ∈ R,
i=1
同時累積分布関数は
FX (x) = P
n
\
!
{Xi ≤ xi } ,
x = (x1 , . . . , xn ) ∈ R
i=1
と定義できる．二変量の場合と同様にして，FX は有限個の点 x で幅 pX (x) のジャンプが起きて 0
から 1 へ昇っていく階段関数であり，以下の性質を満たすことを確認することができる．
(i) 0 ≤ pX (x) ≤ 1, x ∈ Rn .
P
(ii)
x∈supp(X) pX (x) = 1.
(iii) 0 ≤ FX (x) ≤ 1.
第1章
18
確率論
(iv) FX は (広義) 短調増加関数である．すなわち xi ≤ x′i , i = 1, . . . , n，であれば FX (x) ≤
FX (x′ ).
周辺化についても，i = 1, . . . , n に対し以下のようになされる．
X
pX (x) = pXi (xi ),
xj ∈supp(Xj ), j̸=i
lim
xj →x̄j , j̸=i
FX (x) = FXi (xi ),
ここで x̄j = max{supp(Xj )} である．
最後に，確率ベクトルの期待値に関する有用な公式を示す．以下の公式は多くの文献で断りなく用
いられていることがほとんどであり，本講義でもその慣例に従う．
命題 1.5.5 (Law of unconscious statistician). n 次元確率ベクトル X が pmf として pX を持つと
き，任意の関数 g : Rn → R に対し以下が成り立つ：
X
E[g(X)] =
g(x) pX (x).
(1.5)
x∈supp(X)
証明. Z = g(X) とおくとこれは１次元の確率変数であり，E[g(X)] = E[Z] である．以下の集合を定
義する：
C(z) = {x ∈ supp(X) : g(x) = z}.
Z の pmf は以下で得られる．

pZ (z) = P(Z = z) = P 
=
X
[

{X = x} =
x∈C(z)
X
P(X = x) =
x∈C(z)
X
pX (x)
x∈C(z)
pX (x) 1C(z) (x).
x∈supp(X)
従って，Z の期待値は以下のように計算できる：
E[Z] =
X
zpZ (z)
z∈supp(Z)
=
X

z
z∈supp(Z)
=
X
X
pX (x)1C(z) (x)
x∈supp(X)

pX (x) 
x∈supp(X)
=

X
X

z 1C(z) (x)
z∈supp(Z)
pX (x)g(x).
x∈supp(X)
補足 1.5.6. supp(X) ⊆ {x ∈ Rn : xj ∈ supp(Xj ), j = 1, . . . , d} であり x ∈
/ supp(X) であれば
pX (x) = 0 であるから， (1.5) 式右辺の和における “x ∈ supp(X)” は
“x1 ∈ supp(X1 ), . . . , xn ∈ supp(Xn )”
に置き換えても E[g(X)] の値は不変である．
1.6 確率変数の同等性
19
1.6 確率変数の同等性
非確率的な二つの数に対してそれらの等しさは一義的であるが，二つの確率変数 X と Y に対して
は複数の同等性が定義できる．まずはじめに，X と Y が同一の確率空間で定義されている場合を考
える．
定義 1.6.1. X と Y が同一の確率空間 (Ω, B(Ω), P) 上で定義されているとする．
(i) X(ω) = Y (ω) がすべての w ∈ Ω で成り立つ時，X と Y は各点で等しい (equal pointwise)
といい，X = Y p.w. と書く．
(ii) P(X = Y ) = 1 のとき，X と Y はほとんど確実に等しい (equal almost surely, a.s.) といい，
X = Y a.s. と書く．
E = {ω ∈ Ω : X(ω) = Y (ω)} とおく．(i) では E c = ∅ でなければならず，(ii) では P(Ec ) = 0 で
さえあれば E c = ∅ でなくても良い．確率が 0 である集合は起こり得ないので，(ii) の方が確率論に
おいては自然な同等性の概念である．
X と Y の同等性を確率関数によって定義することも自然である．この時，これらの確率変数は同
一の確率空間上に定義されている必要はない．
定義 1.6.2. FX (t) = FY (t) がすべての t ∈ R で成り立つ時，X と Y は分布的に等しい (equal in
d
distribution) といい，X = Y と書く．
FX (t) = FY (t), t ∈ R，なる条件は pX (t) = pY (t), t ∈ R，と同値であることを確かめることがで
きる．
上記の確率的同等性の間には以下の関係がある．
命題 1.6.3. X と Y が同一の確率空間 (Ω, B(Ω), P) 上で定義されているとする．この時，以下が成
り立つ：
(i) X と Y は各点で等しければほとんど確実に等しい．
(ii) X と Y はほとんど確実に等しければ，分布的にも等しい．
(iii) (i) および (ii) の逆は成り立たない．
すなわち，
d
X = Y p.w. =⇒ X = Y a.s. =⇒ X = Y.
(i) およびその逆が成り立たないことは自明である．(ii) については，X = Y a.s. である時，任意
の t ∈ R に対し
pX (t) = P(X = t) = P(X = Y, X = t) = P(X = Y, Y = t) = P(Y = t) = pY (t)
d
が成り立つことから分かる．(ii) の逆が成り立たないことを示すには，X = Y だが P(X 6= Y ) > 0
なる例を挙げれば良い．Ω = {ω1 , ω2 , ω3 } とし，この上の確率変数 X と Y を以下で定める：


−1, ω = ω1 ,
X(ω) = 0,
ω = ω2 ,


1,
ω = ω3 ,


ω = ω1 ,
1,
Y (ω) = 0,
ω = ω2 ,


−1, ω = ω3 .
第1章
20
確率論
d
こ の 時 X と Y は 共 に {1, 2, 3} 上 の 一 様 分 布 で あ る か ら X = Y で あ る が ，P(X 6= Y ) =
P({ω1 , ω3 }) = 2/3 > 00 である．
1.7 共分散と相関係数
確率変数それぞれの特徴は平均や分散によってまとめられるが，同時確率関数によって記述されて
いる二つの確率変数の間の関係性は共分散および相関係数によって簡潔にまとめられる．
定義 1.7.1 (共分散，相関係数). (Ω, B(Ω), P) 上の確率変数 X ，Y に対し，平均と分散をそれぞれ
2
µX , σ X
，µY ，σY2 とおく．
(i) Cov(X, Y ) = E[(X − µX )(Y − µY )] =
P
(x,y)∈supp(X,Y ) (x − µX )(y − µY ) pX,Y (x, y) を X
と Y の共分散 (covariance) という．
(ii) σX , σY > 0 とする．この時
Corr(X, Y ) =
Cov(X, Y )
σX σY
を X と Y の相関係数 (correlation coefficient) という．Corr(X, Y ) は ρ(X, Y ) とも書か
れる．
X ，Y の一方の変数が平均と比較して高い値を取った際，他方の変数も平均を上回れば (X −
µX )(Y − µY ) は正，下回った際は (X − µX )(Y − µY ) は負の値を取る．共分散はこのような量の平
均である．共分散は X ，Y のばらつきにより変動する量であり，相関係数では共分散を X と Y の
標準偏差で正規化することにより [−1, 1] の範囲で X と Y の関係を定量化している (命題 1.7.4 (i)
参照)．
SD(X) = 0 である時，X = µX a.s. であるから，X は非確率的な定数である．この時，X は退化
している (degenerated) という．退化していない確率変数は非退化 (non-degenerated) であるとい
う．相関係数は非退化な X と Y に対してのみ定義される．
X と Y の変換は共分散および相関係数を変化させるが，線形変換に対しては以下の公式が成り
立つ．
命題 1.7.2. X ，Y を (Ω, B(Ω), P) 上の確率変数とし，a, b, c, d ∈ R とする．この時以下が成り立つ．
(i) E[aX + cY ] = aE[X] + bE[Y ].
(ii) Var(aX + cY ) = a2 Var(X) + b2 Var(Y ) + 2ab Cov(X, Y ).
(iii) Cov(aX + b, cY + d) = ac Cov(X, Y ).
(iv) a, c 6= 0, SD(X), SD(Y ) > 0 の時，以下が成り立つ：
(
Corr(X, Y ),
ac > 0,
Corr(aX + b, cY + d) =
− Corr(X, Y ), ac < 0.
1.7 共分散と相関係数
証明.
21
(i)
X
E[aX + bY ] =
(ax + by) pX,Y (x, y)
x∈supp(X),y∈supp(Y )
=a
X
x∈supp(X)
=a
X

x

X
pX,Y (x, y) + b
y∈supp(Y )
x pY (y) + b
x∈supp(X)
X
X

y
y∈supp(Y )
X

pX,Y (x, y)
x∈supp(X)
y pY (y)
y∈supp(Y )
= aE[X] + bE[Y ].
(ii)
Var(aX + bY ) = E[(aX + bY − aE[X] − bE[Y ])2 ]
= a2 E[(X − E[X])2 ] + b2 E[(Y − E[Y ])2 ] + 2abE[(X − E[X])[(Y − E[Y ])]
= a2 Var(X) + b2 Var(Y ) + 2ab Cov(X, Y ).
(iii)
Cov(aX + b, cY + d) = E[(aX + b − aE[X] − b)(cY + d − cE[Y ] − d)] = ac Cov(X, Y ).
(iv)
Cov(aX + b, cY + d)
SD(aX + b) SD(cY + d)
ac Cov(X, Y )
p
=p
2
a Var(X) c2 Var(Y )
ac
=
Corr(X, Y ).
|a||c|
Corr(aX + b, cY + d) =
(iv) より ac > 0 のとき，相関係数は線形変換に対して不変性 (invariance) を持つ．
命題 1.7.3. (Ω, B(Ω), P) 上の確率変数 X ，Y に対し以下が成り立つ：
(i) Cov(X, Y ) = E[XY ] − E[X]E[Y ].
(ii) Var(X) = E[X 2 ] − E[X]2 .
証明. X ，Y の平均をそれぞれ µX ，µY とおくと，
Cov(X, Y ) = E[(X − µX )(Y − µY )] = E[XY ] − µX µY − µX µY + µX µY
= E[XY ] − µX µY
であるから，よって (i) が成り立つ．(ii) は (i) で Y = X とした場合である．
命題 1.7.4 (相関係数の性質). X と Y は非退化とする．この時以下が成り立つ：
(i) −1 ≤ Corr(X, Y ) ≤ 1
(ii) | Corr(X, Y )| = 1 であることと，ある定数 a, b ∈ R, a 6= 0 が存在し Y = aX + b a.s. である
ことは同値である．特に Corr(X, Y ) = 1 の時 a > 0, Corr(X, Y ) = −1 の時 a < 0 である．
証明. X ，Y の平均をそれぞれ µX ，µY とおく．
第1章
22
確率論
(i) X̃ = X − µX , Ỹ = Y − µY とすると，相関係数の不変性より Corr(X̃, Ỹ ) = Corr(X, Y ) で
ある．
t 7→ E[(Ỹ − tX̃ 2 )] = E[Ỹ 2 ] − 2tE[X̃ Ỹ ] + t2 E[X̃ 2 ]
は t の二次関数であり 0 以上の値をとる．この二次関数は
t∗ =
E[X̃ Ỹ ]
SD(Y )
= Corr(X, Y )
2
SD(X)
E[X̃ ]
(1.6)
で最小値を取り，その最小値は
m = E[Ỹ 2 ] −
E2 [X̃ Ỹ ]
= Var(Y ) − Var(Y ) Corr(X, Y )2
E[X̃ 2 ]
である．m ≥ 0 であるからこれを解くと | Corr(X, Y )| ≤ 1 を得る．
(ii) | Corr(X, Y )| = 1 は m = 0 と同値であり，これはまた E[(Ỹ − t∗ X̃)2 ] = 0，すなわち
X
{y − µY − t∗ (x − µX )}2 pX,Y (x, y) = 0
(x,y)∈supp(X,Y )
とも同値である．{y − µY − t∗ (x − µX )}2 ≥ 0 であり，(x, y) ∈ supp(X, Y ) に対して
pX,Y (x, y) > 0 であるから，すべての (x, y) ∈ supp(X, Y ) に対し y = µY + t∗ (x − µX )
が成り立つ．すなわち，a = t∗ , b = µY − µX t∗ として Y = aX + b a.s. が成り立つ．
SD(X), SD(Y ) > 0 であるから，(1.6) より Corr(X, Y ) と a = t∗ の符号は一致する．
例 1.7.5. 例 1.5.4 において X = Y = {1, 2, 3} とする．以下の三種類の一様分布を考える．いずれ
も周辺分布は U (X ) = U (Y) である．
(i) pX,Y (1, 1) = pX,Y (2, 2) = pX,Y (3, 3) = 1/3：この時 Corr(X, Y ) = 1 である.
(ii) pX,Y (1, 2) = pX,Y (2, 1) = pX,Y (3, 3) = 1/3：この時 −1 < Corr(X, Y ) < 1 である.
(iii) pX,Y (1, 3) = pX,Y (2, 2) = pX,Y (3, 1) = 1/3：この時 Corr(X, Y ) = −1 である.
例 1.7.6. (X, Y ) ∼ U ({(1, 1), (2, 4), (3, 9)}) なる一様分布を考える．この時，Corr(X, Y ) > 0 であ
るが，X と Y の間には完全な線形の関係はないので，Corr(X, Y ) < 1 である．
1.8 独立性
確率変数 X と Y が独立 (X ⊥
⊥ Y ) であるとは，任意の x, y ∈ R に対し，事象 {X ≤ x} と {Y ≤ y}
が独立である, すなわち，以下が成り立つことである：*9
P(X ≤ x, Y ≤ y) = P(X ≤ x)P(Y ≤ y),
∀x, y ∈ R.
(1.7)
これは，(X, Y ) の同時 cdf が周辺 cdf を用いて FX,Y (x, y) = FX (x)FY (y) のように分解されるとい
うことである．また，式 (1.7) は以下とも同値であることを確かめることができる：
P(X = x, Y = y) = P(X = x)P(Y = y),
∀x, y ∈ R.
これは，(X, Y ) の同時 pmf が周辺 pmf を用いて pX,Y (x, y) = pX (x)pY (y) のように分解されると
いうことである．この独立性の定義は，一般の n 個の確率変数に対し以下のように拡張できる．
*9 ∀x ∈ R は “全ての x ∈ R に対し”を意味する．類似の記号として，∃x ∈ R は “ある x ∈ R に対し”を意味する．
1.8 独立性
23
定義 1.8.1 (独立性). X = (X1 , . . . , Xn ) が独立 (independent, ⊥
⊥ X) であるとは，全ての x ∈ Rn
に対し以下が成り立つことである：
Fx (x) =
n
Y
FXi (xi ).
i=1
X が独立であることと，以下が同値であることが確認できる：
px (x) =
n
Y
pXi (xi ),
∀x ∈ Rn .
i=1
独立性は，異なる次元の確率変数間でも同様に定義することができる．すなわち，n 次元確率ベク
トル X = (X1 , . . . , Xn ) と m 次元確率変数 Y = (Y1 , . . . , Ym ) が独立であるとは，全ての x ∈ Rn と
y ∈ Rm に対し，

FX,Y (x, y) = P 
n
\
{Xi ≤ xi } ∩
i=1
m
\

{Yj ≤ yj }
j=1
が FX (x)FY (y) に分解できることである．この時，X ⊥
⊥ Y と書く．
X1 , . . . , Xn が独立で同じ分布に従う時，これらは独立同分布 (independently and identically
iid
distributed) しているといい，iid と省略する．その同一の cdf が F である時，X1 , . . . , Xn ∼ F と
iid
書く．F の pmf が p であり，これらの区別が明確なとき，X1 , . . . , Xn ∼ p とも書くこととする．
次に，独立性と相関係数の間の関係性を確認する．確率変数 X と Y が無相関 (uncorrelated) であ
るとは，Corr(X, Y ) = 0 となることである．以下の意味で，無相関性は独立性より弱い概念である．
命題 1.8.2. X と Y を非退化な確率変数とし，これらは独立であるとする．この時以下が成り立つ：
(i) E[XY ] = E[X]E[Y ];
(ii) Corr(X, Y ) = 0．
証明. (i) が成り立てば Cov(X, Y ) = E[XY ] − E[X]E[Y ] = 0 であるから，Corr(X, Y ) = 0 となり
(ii) が成り立つ．独立性の仮定より X と Y の同時 pmf を分解することで，(i) は以下のように確か
めることができる：
E[XY ] =
X
xy pX,Y (x, y)
(x,y)∈supp(X,Y )
=
X
xy pX (x)pY (y)
x,y∈supp(X,Y )
=
X
xpX (x)
x∈supp(X)
X
ypY (y)
y∈supp(Y )
= E[X]E[Y ].
独立であれば相関係数は 0 であるが，その逆は成り立たない．すなわち，相関係数は 0 だが独立で
ない確率変数の組が存在し，従って相関係数の値をもって確率変数の間の独立性を判断することはで
きない．
第1章
24
確率論
1.9 条件付き分布
B ⊆ R を P(Y ∈ B) > 0 なる集合とする．この時，{Y ∈ B} の条件のもとで {X ∈ A} が起こる
確率は以下で与えられる (1.2 節参照)：
P(X ∈ A | Y ∈ B) =
P(X ∈ A, Y ∈ B)
.
P(Y ∈ B)
特に B = {y} の場合に以下を定義する．
定義 1.9.1 (条件付き分布). y ∈ R は pY (y) > 0 を満たすとする．
(i) pX|Y (x|y) = P(X = x | Y = y) を X の {Y = y} のもとでの条件付き確率質量関数と呼ぶ．
(ii) FX|Y (x|y) = P(X ≤ x | Y = y) を X の {Y = y} のもとでの条件付き累積分布関数と呼ぶ．
(iii) supp(X | Y = y) = {x ∈ R : pX|Y (x|y) > 0} を X | {Y = y} の台 (support) と呼ぶ．
これらは y を固定した時の x の関数であり，命題 1.3.4 で述べた性質を全て満たすことが確認で
きる．
例 1.9.2 (グループ分け). 確率変数 X は pmf として P(X = xi ) = pi ∈ (0, 1), xi ∈ R, i = 1, . . . , 6,
P6
を持つとし，
i=1 pi = 1 とする．また，確率変数 Y を以下で定める：
(
Y =
1,
2,
Xの値が奇数,
Xの値が偶数．
Y は X の取る値を２つのグループに分けている．po = p1 + p3 + p5 , pe = p2 + p4 + p6 とおくと，
(
(
pi /po , i が奇数,
0,
i が奇数,
pX|Y (i|1) =
pX|Y (i|2) =
0,
i が偶数,
pi /pe , i が偶数,
となり，それぞれの条件付き pmf が各グループ内での確率法則を pmf により記述している．
定義 1.9.3 (条件付き平均・分散). y ∈ R を pY (y) > 0 なる定数とする．
(i) E[X | Y = y] =
P
x∈supp(X|Y =y) xpX|Y (x|y) を X の {Y
= y} のもとでの条件付き平均とい
い，µX|Y (y) と書く．
(ii) Var(X | Y = y) = E[(X − µX|Y (y)) | Y = y] を X の {Y = y} のもとでの条件付き分散とい
2
い，σX|Y
(y) と書く．
(iii) SD(X | Y = y) =
p
Var(X | Y = y) を X の {Y = y} のもとでの条件付き標準偏差といい，
σX|Y (y) と書く．
条件付き分散は，以下のように計算される：
Var(X | Y = y) =
X
{x − µX|Y (y)}2 pX|Y (x|y).
x∈supp(X|Y =y)
また，以下の性質が成り立つことを確認することができる：
E[aX + b | Y = y] = aE[X | Y = y] + b,
Var(aX + b | Y = y) = a2 Var(X | Y = y),
SD(aX + b | Y = y) = |a| SD(X | Y = y).
1.9 条件付き分布
25
X ⊥⊥ Y の時，pX|Y (x|y) = pX (x) となり Y に依存しなくなる．よって以下が成り立つ：
E[X | Y = y] = E[X],
Var(X | Y = y) = Var[X],
SD(X | Y = y) = SD(X)．
例 1.9.4. 例 1.9.2 では，条件付き平均と条件付き分散は以下で与えられる：
X
µX|Y (1) =
xi
pi
,
po
xi
pi
,
pe
i∈{1,3,5}
X
µX|Y (2) =
i∈{2,4,6}
X
2
σX|Y
(1) =
{xi − µX|Y (1)}2
pi
,
po
{xi − µX|Y (2)}2
pi
.
pe
i∈{1,3,5}
X
2
σX|Y
(2) =
i∈{2,4,6}
今，背後の確率空間 (Ω, B(Ω), P) を思い出す．Y が与えられたもとでの X の条件付き期待値を
E[X | Y ] と書いた時，これを
X
ω ∈ Ω 7→ E[X | Y = Y (ω)] :=
x pX|Y (x|Y (ω))
x∈supp(X|Y =Y (ω))
のように Ω 上の関数，すなわち確率変数とみる．従って，例えば以下の量を定義することができる．
E[E[X|Y ]] =
X
E[X | Y = y] pY (y),
y∈supp(Y )
Var(E[X|Y ]) =
X
2
{E[X | Y = y] − E[E[X | Y ]]} pY (y).
y∈supp(Y )
各式において，内側の期待値記号 E は Y を y ∈ supp(Y ) に固定した際の X に関する期待値を表し
ており，外側の期待値 E や分散 Var の記号は条件付き期待値の条件部分 Y = Y (ω) に対して取られ
ている．これらの量は X の平均，分散と以下の関係がある．
命題 1.9.5.
(i) (全期待値の法則, Tower property) E[X] = E[E[X|Y ]].
(ii) (全分散の法則) Var(X) = E[Var(X|Y )] + Var(E[X|Y ]).
証明.
(i) 条件付き pmf の定義 pX|Y (x|y) = pX,Y (x, y)/pY (y) を用いると，
E[E[X|Y ]] =
X
y∈supp(Y )
=
X
x∈supp(X)
=
X
x∈supp(X)
= E[X].

X


x pX|Y (x|y) pY (y)
x∈supp(X)

x
X
y∈supp(Y )
x pX (x)

pX,Y (x, y)
第1章
26
確率論
(ii) X の平均を µX とおく．全期待値の法則 (i) より，
Var(X) = E[E[(X − µX )2 | Y ]]
= E[E[X 2 | Y ] − 2µX E[X | Y ] + µ2X ].
Var(X | Y ) = E[X 2 | Y ] − E2 [X | Y ] であるから，E[X 2 | Y ] = Var(X | Y ) + E2 [X | Y ] を
上式に代入すると，以下の式を得る：
Var(X) = E[Var(X | Y )] + E[(E[X | Y ] − µX )2 ].
µX = E[E[X | Y ]] であるから，第 2 項は確率変数 E[X | Y ] の分散であり，よって望みの公
式を得る．
より一般に，m 次元確率ベクトル X および n 次元確率ベクトル Y に対し，以下の条件付き cdf，
pmf が考えられる：
P(X ≤ x, Y = y)
,
pY (y)
pX,Y (x, y)
pX|Y (x|y) =
.
pY (y)
FX|Y (x|y) =
任意の関数 g : Rm+n → R と m 次元確率ベクトル X および n 次元確率ベクトル Y に対し，以下の
より一般的な全期待値の法則が成り立つ：
E[g(X, Y)] = E[E[g(X, Y) | Y]].
命題 1.9.5 の証明と同様の計算により以下の公式を得る．
命題 1.9.6 (全共分散の法則). Cov(X, Y ) = E[Cov(X, Y |Z)] + Cov(E[X|Z], E[Y |Z]).
1.10 確率空間の拡張
これまでは有限個の元からなる確率空間のみを考えていたが，このような確率空間には整数や自然
数といった可算無限個の異なる値を取る確率変数を定義することができない．このような問題は，可
算無限個の元からなる以下の標本空間を取ることで対処することができる：
Ω = {ωi : i ∈ N0 },
N0 = {0, 1, 2, . . . }.
例 1.10.1 (ポアソン分布, Poisson distribution). 定数 λ > 0 をとり，Ω = {ωi : i ∈ N0 } 上の確率
測度 P を以下で定める：
P({ωi }) =
λi e−λ
,
i!
i ∈ N0 .
ここで e = 2.718 · · · はネイピア数で i! = i×(i−1)×· · · 1, 0! = 1 である．実際に
(1.8)
P
i∈N0 P({ωi }) = 1
を確かめることができ， (1.8) は確率測度を定めることが分かる．Ω 上の確率変数 X を以下で定
める：
X(ωi ) = i,
i ∈ N0 .
1.11 連続な確率変数
27
この X の pmf は以下で与えられる：
pX (x) =
λx e−λ
,
x!
x ∈ N0 .
この X が従う分布をポアソン分布とよび X ∼ Po(λ) とかく．計算により E[X] = Var(X) = λ が確
認できる．
自然数や整数全体上の一様分布は定義できない．なぜなら，可算無限個の全ての点に正の定確率
p ∈ (0, 1) が存在すると，全ての確率の和が ∞ となり 1 になり得ないからである．有限の場合と異
なり，確率変数 X が加算無限個の値を取る時，無限和を扱うことになるため平均や分散が存在しな
い場合がある．
可算無限個の元からなる標本空間上には，実数全体の集合 R のような非加算な集合に値を取る確
率変数を定義することができない．この問題は，標本空間 Ω を [0, 1], (0, 1) や R と取ることで解決
される．
例 1.10.2 (一様分布, uniform distribution). [0, 1] の部分集合 A ⊆ [0, 1] に対し，A の長さを λ(A)
で表す．例として， 0 ≤ a < b ≤ 1 に対し，λ は以下のように計算される：
λ([a, b]) = λ((a, b]) = λ([a, b)) = λ((a, b)) = b − a,
λ({a}) = λ({b}) = 0.
Ω = [0, 1] 上の確率測度 P を以下で定める：
P(A) = λ(A),
A ⊆ Ω.
また a, b ∈ R, a < b に対し，確率変数 X を以下で定める：
X(ω) = (b − a)ω + a.
この時，X は区間 [a, b] 上の一様分布に従うといい，X ∼ U [a, b] と書く．この名称は確率の一様性
に由来しており，実際 a ≤ s < s + t ≤ b なる s, t ∈ R に対し，
P(X ∈ [s, s + t]) =
s+t−s
t
=
b−a
b−a
となり，この確率は点 s ∈ [a, b] によらず一様である．
ある標本空間 Ω 上に定義される確率変数 X に対し，X(Ω) = {X(ω) : ω ∈ Ω} が加算集合である
時，X は離散 (discrete) 確率変数であるといい，X(Ω) が非加算集合である時，X は連続 (continuous)
確率変数であるという．
1.11 連続な確率変数
X が離散であっても連続であっても，累積分布関数 (cdf) を FX (x) = P(X ≤ x), x ∈ R, に
より定義することができる．定義より FX は広義単調増加関数であり，limx→−∞ FX (x) = 0,
limx→∞ FX (x) = 1 が成り立つ．
例 1.11.1. 例 1.10.2 で定めた確率変数 X ∼ U [0, 1] に対し，その cdf は以下のように計算される：


0,
FX (x) = x,


1,
x < 0,
0 ≤ x ≤ 1,
1 < x.
第1章
28
確率論
X が連続である時，P(X = x) = 0 となるから，確率質量関数を調べる意味はない．この場合，
pmf と類似の概念として FX の微小変化を考える．
′
定義 1.11.2 (確率密度関数). 確率変数 X に対し，FX の点 x ∈ R での導関数 FX
(x) が存在する時，
これを X の点 x での確率密度関数 (probability density function, pdf) といい，fX (x) と書く．特
に，X の分布関数 FX が集合
D(X) = {x ∈ R : 0 < FX (x) < 1}
上で狭義単調増加関数*10 で微分可能である時，
′
fX (x) = FX
(x) > 0,
x ∈ D(X),
であり，この時 X は (D(X) 上で) 確率密度関数 fX を持つという．
確率変数 X が D(X) 上で確率密度関数 fX を持つとき，任意の x ∈ R\D(X) に対し FX (x) は 0 ま
たは 1 であるから，fX (x) = 0 もしくは FX は点 x で微分不可能である．従って，領域 R\D(X) で
X の pdf を記述する必要はない．D(X) の極小値を x，極大値を x とおく．この時，D(X) = (x, x)
である．
例 1.11.3. X ∼ U [0, 1] とする．例 1.11.1 の計算結果から，X の pdf は以下で得られ，x の値によ
らず一定である：
(
fX (x) =
1,
0,
0 < x < 1,
x < 0, 1 < x.
また D(X) = (0, 1) であり，FX は x = 0, 1 で微分できないので，これらの点で X の pdf は存在し
ない．
補足 1.11.4. X が離散確率変数である時，その cdf は加算個の点でジャンプがおきる階段関数で
あった．この cdf はジャンプ点では微分不可であるから pdf は定義できず，その他の領域では cdf は
平坦であるから pdf は 0 である．従って，離散確率変数に対しては pdf を調べる意味はない．
連続な確率変数 X が fX を pdf として持つとする．この時，導関数の定義から X の cdf は以下の
ように逆算できる：
Z x
FX (x) =
fX (t)dt,
x ∈ D(X).
x
また，a, b ∈ D(X) に対し，P(a < X ≤ b) = P(X ≤ b) − P(X ≤ a) = FX (b) − FX (a) であるから
以下が成り立つ：
Z b
P(a < X ≤ b) =
fX (t)dt.
a
特に以下が成り立つ：
Z
D(X)
fX (t)dt = 1.
pdf は存在すれば常に fX (x) ≥ 0 であるが，pmf とは異なり，fX (t) ≤ 1 とは限らない.
*10 x < y なら FX (x) < FX (y) であるということ．
1.11 連続な確率変数
29
例 1.11.5 (指数分布). 定数 λ > 0 に対し，連続な確率変数 X が以下の pdf を持つ時，X はパラ
メーター λ の指数分布に従うといい，X ∼ Exp(λ) と書く：
(
fX (x) =
X の cdf は以下で得られる：
(
FX (x) =
λe−λ x , x > 0,
0,
x < 0.
0,
Rx
x
λe−λt dt = λ − λ1 e−λt 0 = 1 − e−λ x ,
0
x ≤ 0,
x > 0.
連続な確率変数 X に対して，FX が D(X) 上で狭義単調増加関数である時，累積確率 α ∈ (0, 1)
−1
に対し FX (x) = α なる点 x ∈ D(X) が一意に定まる．この点は FX の逆関数 FX
を用いて
−1
x = FX
(α) と表される重要な量である．
定義 1.11.6 (分位点). 確率変数 X の cdf が D(X) 上で狭義単調増加とする．この時，α ∈ (0, 1) に
対し，
−1
qα (X) = FX
(α)
を F の 100α% 分位点 (quantile) と呼ぶ．特に q1/2 (X) を X の中央値 (median) と呼ぶ．
確率変数 X の中央値は，X がその値より高い値を取る確率と，低い値を取る確率がそれぞれ 1/2
となるような値である．
例 1.11.7. X ∼ Exp(λ) に対し D(X) = (0, ∞) であり，
1
qα (X) = − log (1 − α)
λ
*11
である．
分位点は，以下の重要な性質を持つ．
命題 1.11.8. 関数 G : R → [0, 1] は連続で，limx→∞ G(x) = 1, limx→−∞ G(x) = 0 を満たし，集合
D(G) = {x ∈ R : 0 < G(x) < 1}
上で狭義単調増加であるとする．この時，U ∼ U (0, 1) に対し確率変数 X = G−1 (U ) を定めると，
X は関数 G を累積分布関数に持つ．
証明. 任意の x ∈ R に対し，P(X ≤ x) = P(G−1 (U ) ≤ x) = P(U ≤ G(x)) = G(x).
命題 1.11.8 を用いて，一様分布から目的の関数 G を cdf に持つ確率変数 X を X = G−1 (U ) と構
成する方法を逆関数法という．
補足 1.11.9 (連続な確率変数の構成). 関数 G を命題 1.11.8 の条件を満たすものとする．標本空間
Ω = (0, 1) と確率測度 P = λ（例 1.10.2 参照）上に以下の確率変数を定める：
X(ω) = G−1 (ω),
ω ∈ (0, 1).
この時，命題 1.11.8 の証明と同様にして，X が関数 G を cdf に持つことが確かめられる．
*11 本講義では log x は底 e の対数とする．
第1章
30
連続な確率変数 X に対する平均や分散は，離散確率変数の場合の和
P
を積分
R
確率論
に置き換えて定
義される．
定義 1.11.10. 確率変数 X は連続で fX を pdf として持つとする．
(i) E[X] =
R
xfX (x)dx を X の期待値または平均と呼び，µX と書く．
R
(ii) Var(X) = E[(X − µX )2 ] = D(X) (x − µX )2 fX (x)dx を X の分散と呼ぶ．
p
(iii) SD(X) = Var(X) を X の標準偏差と呼ぶ．
D(X)
離散の場合と同様に，計算により Var(X) = E[X 2 ] − E2 [X] が成り立つことを確認できる．
例 1.11.11. X ∼ U [0, 1] に対し D(X) = (0, 1) であるから，計算により以下を得る：
Z 1
E[X] =
xdx =
0
Z 1
E[X 2 ] =
1
,
2
x2 dx =
0
Z 1
x−
Var(X) =
0
1
2
1
,
3
2
dx =
1
1
= −
12
3
2
1
.
2
次に連続な確率変数の変換を考える．以下の命題において，pdf を持つ確率変数に対し変換した確
率変数も pdf を持つには，変換する関数が滑らかである必要がある．
命題 1.11.12. 連続な確率変数 X が fX を pdf として持つとする．関数 g : R → R は D(X) 上で狭
義単調かつ微分可能であるとする．Dg (X) = {g(x) : x ∈ D(X)} とし，
h(y) = g −1 (y),
y ∈ Dg (X),
を g の逆関数とする．この時，確率変数 Y = g(X) は以下の pdf を持つ：
fY (y) = fX (g −1 (y)) |h′ (y)|,
y ∈ Dg (X).
(1.9)
ここで，g の逆関数 h の導関数は以下で与えられる：
h′ (y) =
1
,
g ′ (g −1 (y))
y ∈ Dg (X).
証明. y ∈ Dg (X) に対し，Y の cdf は以下で得られる：
FY (y) = P(g(X) ≤ y)
(
P(X ≤ g −1 (y)) = FX (g −1 (y)),
g が増加関数の時，
=
−1
−1
−1
P(X > g (y)) = 1 − P(X ≤ g (y)) = 1 − FX (g (y)), g が減少関数の時.
g −1 (y) ∈ D(X) であるから， FY を微分すると以下を得る：
(
d −1
fX (g −1 (y)) dy
g (y),
g が増加関数の時，
fY (y) =
d −1
−1
−fX (g (y)) dy g (y), g が減少関数の時.
g が狭義単調増加関数である時，h = g −1 も狭義単調増加関数であり，従って h′ (y) ≥ 0 である．g
が狭義単調減少関数である時，h = g −1 も狭義単調減少関数であり，従って h′ (y) ≤ 0 である．これ
らの場合をまとめると，式 (1.9) を得る．
1.12 連続な多変量分布
31
例 1.11.13 (線形変換). 確率変数 X は fX を pdf として持つとする．a, b ∈ R, a 6= 0 に対し
E[aX + b] = aE[X] + b を示す．命題 1.11.12 より，Y = aX + b は以下の pdf を持つ：
y−b 1
fY (y) = fX
, y ∈ D(Y )．
a
a
ここで D(Y ) = {ax + b : x ∈ D(X)} である．従って，z = (y − b)/a なる変数変換を行うことで，
Z
E[Y ] =
Z
D(Y )
=
D(X)
Z
=a
y fX
y−b
a
1
dy
a
(az + b) fX (z)dx
Z
z fX (z)dx + b
D(X)
D(X)
fX (z)dx
= aE[X] + b.
同様の計算により，Var(aX + b) = a2 Var(X) および SD(aX + b) = |a| SD(X) を確かめることが
できる．
1.12 連続な多変量分布
n 次元確率ベクトル X = (X1 , . . . , Xn ) の同時 pdf は以下のように定義される．
定義 1.12.1 (同時確率密度関数). n 次元確率ベクトル X = (X1 , . . . , Xn ) と x ∈ Rn に対し，
∂n
FX (x)
∂x1 . . . ∂xn
fX (x) =
が存在する時，これを点 x での X の同時確率密度関数 (joint pdf) と呼ぶ．特に，X が集合
D(X) = {x ∈ Rn : 0 < FX (x) < 1}
の任意の点 x で正の同時確率密度関数 fX (x) > 0 を持つ時，X は (D(X) 上で) 同時確率密度関数
fX を持つという．
n 次元確率ベクトル X が fX を同時 pdf として持つとする．この時 Rn \D(X) 上の点では確率密
度関数は値 0 を取るか，もしくは定義されない．数学的に厳密な議論は避けるが，pdf が定義されな
い点は高々加算個しか存在せず，それらの点では pdf は値 0 を取ると再定義しても本講義の計算結果
は全て変わらない（n = 1 とすることでこの事実は単変量の場合にも適用される）．従って，今後 X
が fX を同時 pdf に持つという時は，fX は全域 Rn で定義されており，任意の x ∈ Rn \D(X) では
fX (x) = 0 であるとする．
cdf の単調増加性から，fX の値は常に 0 以上である．また同時 pdf の定義から，同時 cdf を以下
で復元できる．
Z xn
FX (x) =
−∞
···
Z x1
−∞
fX (t1 , . . . , tn )dt1 · · · dtn .
(1.10)
i ∈ {1, . . . , n} をひとつ固定し， (1.10) で xi 以外の全ての変数を ∞ に送った後，xi に関して両辺
を微分することで，以下の周辺化を得る：
Z
fXi (xi ) =
Rn−1
fX (x)dx−i .
(1.11)
第1章
32
確率論
ここで x−i は x から i 番目の変数を除いた (n − 1) 次元ベクトルで， (1.11) の積分はこの i 番目
の変数以外の全ての変数について −∞ から ∞ までの積分をとっている．特に２変量確率ベクトル
(X, Y ) の周辺化は以下で得られる：
Z ∞
fX,Y (x, y)dy = fX (x),
−∞
Z ∞
−∞
fX,Y (x, y)dx = fY (y).
連続な確率ベクトルに関しても，独立性は定義 1.8.1 で定義される．X が同時 pdf を持つ時，
X1 , . . . , Xn が独立であることは，同時 pdf が以下のように積で分解されることと同値である：
fX (x) =
n
Y
fXi (xi ),
∀x ∈ Rn .
i=1
例 1.12.2 (一様分布). S = (0, 1)2 とし，2 次元確率ベクトル (X, Y ) が同時 pdf として
fX,Y (x, y) = 1S (x, y),
(x, y) ∈ R2 ,
を持つ時，(X, Y ) は S 上の一様分布に従うといい，(X, Y ) ∼ U (S) と書く. この時，積分計算によ
り (X, Y ) の同時 cdf は以下で得られる：


xy,





0,
FX,Y (x, y) = y,


x,



1,
(x, y) ∈ S,
x ≤ 0 または y ≤ 0,
x ≥ 1 かつ y ∈ (0, 1),
y ≥ 1 かつ x ∈ (0, 1),
x, y ≥ 1.
周辺分布を計算すると X, Y ∼ U (S) がわかる．fX,Y (x, y) = fX (x)fY (y) なので X ⊥
⊥ Y である．
以下の公式が離散の場合と同様に成り立つ．
命題 1.12.3 (Law of unconscious statistician). n 次元確率ベクトル X が fX を pdf として持つと
き，関数 g : Rn → R に対し以下が成り立つ：
Z
E[g(X)] =
Rn
g(x)fX (x)dx.
例 1.12.4. g(x) = x(x − 1) の時，以下の計算が可能である：
Z
E[X(X − 1)] =
Rn
x(x − 1)fX (x)dx = E[X 2 ] − E[X].
2 次元確率ベクトル (X, Y ) の共分散は
Cov(X, Y ) = E[(X − E[X])(Y − E[Y ])]
Z Z
=
(x − E[X])(y − E[Y ]) fX,Y (x, y)dxdy
R
R
で定義され，計算により Cov(X, Y ) = E[XY ] − E[X]E[Y ] が確かめられる．
次に，連続な場合での条件付き確率関数を考える．Y が連続な場合は任意の y ∈ R に対し
P(Y = y) = 0 であるから，離散の場合と全く同じ形では条件付き確率を定義することはできない．
pmf の代わりに pdf を用いることで，以下の条件付き確率関数が定義される．
1.13 確率変数の和
33
定義 1.12.5 (条件付き確率関数). 連続な確率変数 Y は点 y ∈ R で確率密度関数 fY (y) > 0 を持つ
とする．
(i) 連続な確率ベクトル (X, Y ) が点 (x, y) ∈ R2 で同時確率密度関数 fX,Y を持つとき，
fX|Y (x|y) =
fX,Y (x, y)
,
fY (y)
x∈R
を X の {Y = y} のもとでの条件付き確率密度関数 (conditional pdf) と呼ぶ．
(ii) 条件付き確率密度関数 fX|Y (·|y) が R 上で存在する時，
Z x
FX|Y (x|y) =
−∞
fX|Y (t|y)dt,
x∈R
を X の {Y = y} のもとでの条件付き累積分布関数 (conditional cdf) と呼ぶ．
条件付き pdf, cdf も 1.11 節で述べた pdf, cdf としての性質を満たし，条件付き期待値，条件付き
分散なども同様に定義できる．また，命題 1.9.5 で見たような全期待値の法則および全分散の法則も
同様に成り立つ．
m 次元確率ベクトル X と n 次元確率ベクトル Y に対し，Y が点 y ∈ Rn で fY (y) > 0 なる同時
pdf を持つ時，条件付き pdf，条件付き cdf は存在すれば以下のように定義される：
fX,Y (x, y)
, x ∈ Rm ,
fY (y)
Z xn
Z x1
FX|Y (x|y) =
···
fX|Y (t|y)dt1 · · · dtn ,
fX|Y (x|y) =
−∞
−∞
x ∈ Rm .
X と Y が独立の場合は，fX,Y (x, y) = fX (x)fY (y) となるから，fX|Y (x|y) = fX (x) および
FX|Y (x|y) = FX (x) が成り立つ．
3 変量確率ベクトル (X, Y, Z) に対し，{Z = z} のもとでの条件付き共分散は以下で定義される：
Cov(X, Y | Z = z) = E[(X − E[X | Z = z])(Y − E[Y | Z = z]) | Z = z]
Z Z
=
(x − E[X | Z = z])(y − E[Y | Z = z]) f(X,Y )|Z (x, y|z)dxdy.
R
R
また，全共分散の法則も同様に成り立つ．
1.13 確率変数の和
X ⊥⊥ Y なる 2 つの確率変数 X, Y に対し，それらの和 S = X + Y の分布を調べる．X, Y が離散
で確率質量関数 pX , pY を持つとき，S の pmf は以下のように計算できる：
pS (t) = P(X + Y = t) =
=
X
X
P(X = x, Y = t − x) =
x∈supp(X)
X
P(X = x)P(Y = t − x)
x∈supp(X)
pX (x)pY (t − x).
x∈supp(X)
右辺を X と Y の畳み込み (convolution) と呼び，pX ∗ pY (t) と書かれる．X と Y が連続で確率密
度関数 fX , fY を持つ時，S の pdf は同様に以下で得られる：
Z
fS (t) =
R
fX (x)fY (t − x)dx =: fX ∗ fY (t).
第1章
34
確率論
畳み込みは 2 つの確率変数の和に対しては有効な計算方法であるが，一般の n 個の確率変数の和で
はこういった計算は難しく，別の方法が必要である．本講義では，積率母関数と呼ばれる関数による
方法を紹介する．
定義 1.13.1. X = (X1 , . . . , Xn ), t = (t1 , . . . , tn ) に対し，
⊤
MX (t) = E[et X ] = E[et1 X1 +···+tn Xn ]
が存在する時，これを X の積率母関数 (moment generating function, mgf) と呼ぶ．mgf が存在す
る t の集合を
T (X) = {t ∈ Rn : MX (t) が存在し，MX (t) < ∞}
と書く．
確率変数 X に対し，
mn (X) = E[X n ],
n ∈ N,
を X の n 次積率 (moment) という．積率から期待値や分散を以下のように計算できる：
E[X] = m1 (X),
Var(X) = m2 (X) − m21 (X).
mgf の名称は，mgf から積率を計算できることに由来している．X の mgf が t = 0 まわりで n 回微
*12
分可とする．この時，いくつかの条件のもと，
dn
dn
dn tX
tX
lim
MX (t) = lim n E[e ] = E lim n e
= E[X n lim etX ] = E[X n ]
t→0 dtn
t→0 dt
t→0 dt
t→0
(1.12)
であるから，以下が成り立つ：
dn
MX (t).
n→∞ dtn
mn (X) = lim
(1.13)
例 1.13.2. X ∼ Exp(λ), λ > 0 に対し，
MX (t) = E[e
tX
Z ∞
]=
tx
e λe
−λx
Z ∞
dx = λ
0
e−(λ−t)x dx
0
であり，この積分は t ≥ λ で ∞ に発散し t < λ で λ/(λ − t) と計算される．従って T (X) = (−∞, λ)
であり，
MX (t) =
λ
,
λ−t
t < λ.
(1.13) の公式より，以下を確認できる：
E[X] =
1
,
λ
Var(X) =
1
.
λ2
mgf は積率を定めるが，以下の命題が示すように，より一般に分布それ自体を定める．
命題 1.13.3. 2 つの n 次元確率ベクトル X と Y について，以下は同値である：
(i) FX (t) = FY (t) が全ての t ∈ Rn で成り立つ.
*12 (1.12) 式では極限および微分と期待値を交換しており，これを正当化するには X の分布に関していくつかの条件が必
要である．本講義ではこの操作が正当化できる箇所でのみこれを行なっている．
1.14 正規分布
35
(ii) T (X) = T (Y) = T で，全ての t ∈ T に対し MX (t) = MY (t) が成り立つ．
この命題を用いて，分布を特定する際に mgf によりこれを行う方が議論が簡単になる場合がある．
例として，n 個の確率変数 X1 , . . . , Xn が独立の時，S = X1 + · · · + Xn の分布を記述することは一
般には難しいが，S の mgf は以下のように簡単に導出できる：
MS (t) = E[e ] = E
tS
" n
Y
#
e
tXi
=
i=1
n
Y
n
Y
E[etXi ] =
i=1
MXi (t).
i=1
そのような分布の例を次節で紹介する．
1.14 正規分布
正規分布 (ガウス分布) は確率論・統計学において多くの役割を持つ重要な分布である．
定義 1.14.1. R 値確率変数 X が以下の pdf を持つ時，X は正規分布 (normal/Gaussian distribu-
tion) に従うという：
1
1
exp −
fX (x; µ, σ 2 ) = √
2
2πσ
x−µ
σ
2 !
x ∈ R.
,
ここで µ ∈ R は平均パラメーターといい，σ 2 > 0 は分散パラメーターと呼ばれる定数である．この
時，X ∼ N (µ, σ 2 ) とかく．特に µ = 0，σ 2 = 1 の時の正規分布を標準正規分布といい，その pdf を
ϕ，cdf を Φ と書く．すなわち，ϕ, Φ は以下で定まる関数である：
Z x
1
1
ϕ(x) = √ exp − x2 , Φ(x) =
ϕ(t)dt.
2
2π
−∞
X ∼ N (µ, σ 2 ) に対して，その pdf および cdf は ϕ および Φ を用いて以下で表される：
x−µ
x−µ
1
2
2
fX (x; µ, σ ) = ϕ
, FX (x; µ, σ ) = Φ
.
σ
σ
σ
正規分布は mgf を用いることでいくつかの議論が容易になる．以下に関連する重要な性質をまと
める．
命題 1.14.2. X ∼ N (µ, σ 2 ) に対し，以下が成り立つ．
(i) (積率母関数) MX (t) = exp µt + 21 σ 2 t2 , t ∈ R.
(ii) (平均，分散) E[X] = µ, Var(X) = σ 2 .
(iii) (線形変換) a, b ∈ R, a 6= 0 に対し，aX + b ∼ N (aµ + b, a2 σ 2 ).
(iv) (標準化)
X −µ
∼ N (0, 1).
σ
また，Z ∼ N (0, 1) に対し，
µ + σZ ∼ N (µ, σ 2 ).
(v) (再生性) Xi ∼ N (µi , σi2 ), i = 1, . . . , n，が独立のとき，
S=
n
X
i=1
Xi ∼ N
n
X
i=1
µi ,
n
X
i=1
!
σi2
.
第1章
36
確率論
証明.
(i) 計算により得られるが，特殊な関数の積分が必要なため本講義では省略する．
(ii) (i) より，
′
(t) = µ,
E[X] = lim MX
t→0
′′
E[X 2 ] = lim MX
(t) = σ 2 + µ2 ,
t→0
となるから，Var(X) = E[X ] − E [X] = σ 2 .
2
2
(iii) 命題 1.11.12 より確率変数 aX + b の pdf を計算すると，N (aµ + b, a2 σ 2 ) のそれと一致する
ことが確かめられる．
(iv) (iii) の特殊な場合として成り立つ．
(v) S の mgf は以下で与えられる：
MS (t)
これは N
Pn
i=1 µi ,
n
Y
MXi (t) = exp
i=1
Pn
2
i=1 σi
n
X
!
µi
i=1
1
t+
2
n
X
! !
σi2
t2
.
i=1
の mgf である．
正規分布は平均 µ に対して様々な対称性を持つ：
命題 1.14.3 (正規分布の対称性). X ∼ N (µ, σ 2 ) に対し，以下が成り立つ：
d
(i) X − µ = µ − X.
(ii) 任意の t ∈ R に対し，fX (µ + t; µ, σ 2 ) = fX (µ − t; µ, σ 2 ).
(iii) 任意の t ∈ R に対し，FX (µ + t) = 1 − FX (µ − t).
(iv) 任意の α ∈ (0, 1) に対し，qα (X) − µ = µ − q1−α (X).
証明.
(i) 命題 1.14.2 (iii) より，X − µ も µ − X も同一の分布 N (0, σ 2 ) を持つ．
(ii) 密度関数を直接計算することで確かめられる．
(iii) 任意の t ∈ R に対し，
FX (µ + t) = P(X ≤ µ + t) = P(X − µ ≤ t)
d
であり，(i) より X − µ = µ − X であるから，P(X − µ ≤ t) = P(µ − X ≤ t) が成り立つ．
また，
P(µ − X ≤ t) = P(µ − t ≤ X) = 1 − P(X ≤ µ − t) = FX (µ − t)
であるから，従って FX (µ + t) = 1 − FX (µ − t).
(iv) α ∈ (0, 1) を定数とする．α = FX (µ + t) を t ∈ R に関して解くと，
−1
t = FX
(α) − µ = qα (X) − µ
を得る．(iii) よりこの t は α = 1 − FX (µ − t) を満たす．この方程式を t に関して解くと以下
を得る：
t = µ − FX (1 − α) = µ − q1−α (X).
従って，qα (X) − µ = µ − q1−α (X) が成り立つ．
1.14 正規分布
37
次に正規分布を多変量に拡張する．
定 義 1.14.4 (多 変 量 正 規 分 布). Z = (Z1 , . . . , Zm ) は iid に 標 準 正 規 分 布 を 持 つ と し ，µ =
(µ1 , . . . , µn ) ∈ Rn , aij ∈ R, i = 1, . . . , n，k = 1, . . . , m とする．n 次元確率ベクトル X =
(X1 , . . . , Xn ) を以下で定義する：
Xi = µi +
m
X
aik Zk ,
i = 1, . . . , n.
(1.14)
k=1
この時，X が従う分布を n 次元正規分布と呼び，以下で定められる Σ に対し X ∼ Nn (µ, Σ) と書く：
Σ = (σij )i,j=1,...,n ,
σij =
m
X
aik ajk .
k=1
µ を平均ベクトル，Σ を共分散行列と呼ぶ．
Σ は，i 行 j 列に σij を並べた n × n の配列*13 である．多変量正規分布は Rn 上で同時 pdf を持つ
が，表記が複雑で行列の知識を必要とするため本講義では扱わない．以下に多変量正規分布の重要な
性質をまとめる．
命題 1.14.5. X ∼ NN (µ, Σ)，µ = (µi ), Σ = (σij )，とする．
(i) (積率母関数)


n X
n
n
X
X
1
σij ti tj  ,
MX (t) = exp 
µ i ti +
2 i=1 j=1
i=1
t = (t1 , . . . , tn ) ∈ Rn .
(1.15)
(ii) I ⊆ {1, . . . , n} に対し，|I| を I の元の数とする．
XI = (Xi )i∈I ,
µI = (µi )i∈I ,
ΣI = (σij )i,j∈I ,
に対し，
XI ∼ N|I| (µI , ΣI ).
(iii) i = 1, . . . , n に対し，Xi ∼ N (µi , σii ) である．
(iv) i, j = 1, . . . , n に対し，E[Xi ] = µi , Var(Xi ) = σii ，Cov(Xi , Xj ) = σij ．
(v) 以下の 3 つは同値である：
（a）Xi と Xj は独立；
（b）σij = 0；
（c）Corr(Xi , Xj ) = 0.
*13
一般に i = 1, . . . , n，j = 1, . . . , m に対し aij ∈ R を i 行 j 列目に並べた n × m の配列 A = (aij ) を n × m 行列
と呼ぶ．
第1章
38
証明.
確率論
(i) t ∈ Rn に対し， (1.14) 式の定義を用いると
"
! !#
n
m
X
X
MX (t) = E exp
µi +
aik Zk ti
i=1
"
= E exp
n
X
!
µ i ti
exp
!
"m
Y
i=1
= exp
n
X
k=1
µ i ti
E
i=1
!#
n X
m
X
aik ti Zk
i=1 k=1
!
n
X
exp
aik ti
!#
Zk
.
!
!#
i=1
k=1
iid
Z1 , . . . , Zm ∼ N (0, 1) であるから，
"m
! !#
"
n
m
Y
X
Y
E
exp
aik ti Zk
=
E exp
k=1
i=1
=
k=1
m
Y
k=1
n
X
i=1
n
X
MZ

aik ti
Zk
!
aik ti
i=1
!2 
n
X
1
=
exp 
aik ti 
2 i=1
k=1


!
n X
n
m
X
X
1
aik ajk ti tj 
= exp 
2 i=1 j=1
k=1


n X
n
X
1
= exp 
σij ti tj 
2 i=1 j=1
m
Y
となり，目的の式を得る．
(ii) XI の mgf は limti →0, i∈I MX (t) により得られる．(i) より，


X
X
X
1
lim MX (t) = exp 
µ i ti +
σij ti tj 
ti →0, i∈I
2
i∈I
i∈I j∈I
であり，これは Nm (µI , ΣI ) の mgf である．
(iii) (ii) で I = {i}, m = 1，の場合に対応する．
(iv) (iii) より E[Xi ] = µi ，Var(Xi ) = σii が成り立つ．(1.14) 式において，k, l = 1, . . . , m に対し
Cov(Zk , Zl ) = 1 および k 6= l のとき Cov(Zk , Zl ) = 0 であるから，共分散の線形性より
Cov(Xi , Xj ) =
m X
m
X
k=1 l=1
aik ajl Cov(Zk , Zl ) =
m
X
aik ajk = σij .
k=1
(v) (a)⇒(b)⇔(c) は自明であるから，(b)⇒(a) を示す．σij = 0 の時，
1
M(Xi ,Xj ) (ti , tj ) = exp µi ti + µj tj + (σii ti + σjj tj )
2
1
1
= exp µi ti + σii ti exp µj tj + σjj tj
2
2
= MXi (ti )MXj (tj )
であり，右辺は Xi ⊥
⊥ Xj の際の mgf であるから，よって Xi と Xj は独立である．
1.14 正規分布
39
例 1.14.6 (2 次元正規分布). (X, Y ) が 2 次元正規分布に従うとし，共分散行列が σ1 , σ2 > 0,
ρ ∈ (−1, 1) を用いて以下で表されているとする：
σ11 = σ12 ,
σ22 = σ22 ,
σ12 = σ21 = ρσ1 σ2 .
この時，命題 1.14.5 より Var(X) = σ12 , Var(Y ) = σ22 , Corr(X, Y ) = ρ であり，X と Y が独立であ
ることと ρ = 0 は同値である．
一般には独立性と相関係数が 0 であることは同値ではなく，この性質は多変量正規分布に特有のも
のである．
最後に条件付き分布について述べる．X ∼ Nn (µ, Σ) に対し，I, J ⊆ {1, . . . , n}，I ∩ J = ∅ とし
て，XI = (Xi )i∈I , XJ = (Xj )j∈J を考える．この時，XJ を条件づけたもとでの XI もまた多変量
正規分布に従う．これは条件付き密度関数を調べることで証明できるが，行列の計算が必要なため
本講義では扱わない．代わりに n = 2 の場合の条件付き正規分布のパラメーターを以下の命題で与
える．
命題 1.14.7 (条件付き正規分布). (X, Y ) が例 1.14.6 で与えられる 2 次元正規分布に従うとする．
この時，以下が成り立つ：
Y | {X = x} ∼ N (µY |X (x), σY2 |X (x)),
ここで
x − µ1
,
σ1
σY2 |X (x) = (1 − ρ2 )σ22 .
µY |X (x) = µ2 + ρ σ2