確率論 4


  そろそろ慣れてきたので、標本空間や事象を考えず、確率変数に注目していく.

  「確率変数」とは,ランダムな値をとる実数変数で, その値の出やすさは確率分布によって決まる.

  「確率分布」とは, 確率1を,確率変数が取りうるすべての値に,どう振り分けるかを表現するもの.
    - 離散的な確率変数を考えるとき,確率分布は対応表で表現できる. (取りうるすべての値aがどの程度の確率で起こるかを表でまとめられる)
    - 連続的な確率変数を考えるとき,確率分布は確率密度関数とその積分で表現できる.

  
   戻る  確率論5へ

期待値と分散

 ○期待値○
 
確率変数Xの期待値とは, "ランダムな値をとる確率変数Xの取り得る値の平均"のこと」
  --離散確率変数の場合
    確率変数Xの確率分布をP(X=x)とすると, その期待値E(X)は以下の通り定義される.
    

 --連続確率変数の場合
    確率変数Xの確率密度関数をfX(x)とすると, その期待値E(X)は以下の通り定義される.
    
 
 
 多少ややこしいが,確率変数Xとは,ランダムな値をとりうる変数で、一度しか引けないくじみたいなもの.
 なので,確率変数Xの期待値E(X)は,「Xをたくさん(無限回)観察したその平均。」と定義してしまうと、(結果はあっているけど)誤り.
 E(X)は,Xの取りうる値の平均値、位がただしい(と思っている)。


 次の計算式は頻出なので押さえておく.
 ○Law of the unconscious statistician ○ 
  離散確率変数の場合
 確率変数Xの確率分布をP(X=x)とし,その期待値E(g(X))は
 

 連続確率変数の場合
 確率変数Xの確率密度関数をfX(x)とすると, その期待値E(g(X))は,
 


   離散確率変数の場合は,Y=g(X)という変数変換をしたと考えればよい.
   y=g(x)という値を取る確率P(Y=y=g(x))は,P(X=x)なので,明らか.

(-- 追記:2015/11/26、上の2行は間違い。明らかじゃない。すみません。。)

として,






参考にしたpdf

(--追記ここまで--)


   
連続変数の場合は,期待値の定義から証明できる(pdf)
   リンク先では,g(x)≧0のケースに限定して証明している. (2重責分の積分領域の変換に若干戸惑ったが,領域を図示してしまえば理解できる)
   

 
  ○分散○ 
  確率変数Xの分散とは,「ランダムに変化する確率変数Xのばらつき具合」を表すもの
  --離散確率変数の場合
    確率変数Xの確率分布をP(X=x),期待値をμとすると,その分散V(X)は以下の通り定義される.
    

  --連続確率変数の場合
    確率変数Xの確率密度関数をfX(x), その期待値をμとすると, その分散V(X)は以下の通り定義される.
    
 
    また, を標準偏差と呼ぶ.

 
  Law of the unconscious statisticianを定義しないで、上記の説明をされて、二個目のイコールが理解できなかったんだけど(一個目のイコールは定義)、
  今は、Law of the unconscious statisticianがあるので、上の式変形はすっと呑み込める。




期待値の線形性, 分散の変形

 期待値は, 和分や積分で定義されるため,以下の通り線形性を持つ.
  ○期待値の線形性○ 
  期待値の定義より,n個の確率変数Xiとスカラー値aiについて以下が導かれる.
      
   

  特に独立な確率変数XYに対して, fXY(x,y) = fX(x)fY(y)より以下が導かれる.
   


    ○分散の変形○ 
   a)期待値の線形性より以下が導かれる
    
   b)確率変数Xにスカラー値aを足した分散は,以下の通り.(Xの期待値をμとした)
    
   c)確率変数Xにスカラー値aをかけた分散は,以下の通り.(Xの期待値をμとした)
    
   d)互いに独立な確率変数XYについて,以下が成り立つ (Xの期待値をμ, Yの期待値をνとした))
    
  
   簡単だけど証明)
   a)

   b)

   c)

   d)
    
    
          (独立なのでE(XY)=E(X)E(Y))
    


大数の法則

   
   X1, X2,..., Xn, を互いに独立で同じ分布に従う確率変数とし.各Xiの期待値をμ,分散をσ2とする.
   (独立同一分布(independent and identically distributed (i.i.d))などと呼ばれる.)
   
   このn個の確率変数の平均をZnとする.
    

   a) Znの期待値は,  となる
   b) Znの分散は,   となる

   ここから,n→∞ とすると,
     - 独立同一分布の平均Znの期待値は元の分布の期待値に一致し,
     - 独立同一分布の平均Znの分散は0になる
   事が分かる.

   つまり,nが充分大きければ,
    Zn ≒ E(X)
   としても良い.この関係は後でモンテカルロ法を勉強するときに使う.
   
    簡単だけど証明)
   a) 
   b)  (独立の場合V(X+Y)=V(X)+V(Y)を利用した)

   「確率変数Xの期待値とは,試行を無限回行ってXの値を観察しその平均をとったもの」という説明は誤りだが,大数の法則からぎりぎり許される.
   (たぶん)正しくは,「確率変数Xの期待値とは,Xのとりうる値の平均値」.
   (確率変数(random variable)Xは,ランダムに揺れる変数で,何回も試行したり観察したりできるものではない.[平岡et alプログラミングのための確率統計]に良い説明がある.)

 以下は大数の法則の亜種.
   ○Uniform Law of Large Numbers○
   X1, X2,..., Xn, 期待値をμ分散をσ2の独立同一分布に従う確率変数とし,f(x)を連続な関数として,Znを以下のように定義する.
   
   
   Znは,E(f(X))に確率収束する.
   
    証明等,詳細はこちらを参照



中心極限定理

   ○正規分布○
   次の確率密度関数に従う確率分布を平均μ分散σ2の正規分布 N(μ,σ2) と呼ぶ.
    
   特にN(0,1)を標準正規分布と呼ぶ.
    

 
 よく「次の確率密度関数に従う確率分布を平均μ分散σ2の正規分布 N(μ,σ2) と呼ぶ.」こんな説明を見るし使うけど、なれないうちは、もう少し正しく以下の感じの記述が良いと思う。
 「確率変数Xの確率分布が次の確率密度関数で表せるとき,確率変数Xは平均μ分散σ2の正規分布 N(μ,σ2) に従うという」
 上の説明では確率変数が省略されてて,ちょっと戸惑う.
 

   ○中心極限定理○
   期待値μ, 分散σ2の独立同一分布に従う確率変数 X1,...,Xn, について,
   以下の確率変数Snを考える.
     
 
   このSnの分布は,n→∞の時,標準正規分布N(0,1)に収束する.式で書くと以下の通り..
     
    
   この定理の面白いところは,もとのXがどんな分布だろうと,
   それをたくさん集めて足してsqrt(n×分散)で割れば,その分布が標準正規分布になるということ。
   次項で,大数の法則と,中心極限定理を実験的に確かめてみる.

   戻る  確率論5へ