本講座では、統計の基本から応用までの知識を身に付けることができる講座になっております。そこで、第12回では、「統計的推定 ②」として、統計学の知識として必要な確率と、確率変数について紹介していきます。(高校数学を履修していること(高校数学レベルの数学が身についていること)が、前提の講座になっています。)
今回は、前回(第11回)の講座の続きになります。以下リンク先を参照下さい。
ここでは、最も標準的な統計的推定法とも言われる最尤推定法を紹介します。
最尤推定量のパラメータ変換による不変性は、分布をどのようなパラメータで表記しても、最尤推定の結果が得られる分布が同じになると言い、非常に重要な性質と言われています。
尤度関数を最大化することは、対数尤度関数を最大化することになるため、最尤推定値を計算する分にはどちらを用いても問題ないが、実際の統計解析では対数尤度を用いる場合が多いと言われています。
対数尤度を用いる理由として、独立な確率変数の同時確率は確率の乗算になり、対数を取ることによりこれを加算に直すことが挙げられます。加算の形になれば、期待値の計算が容易となり、大数の法則や中心極限定理などを適用できる利点があります。
確率密度関数に関して、微分と積分の交換ができる程度の正則条件は必要です。有効スコアは、今後の講座で扱う情報基準や漸近理論において本質的な役割を果たします。特に、スコア関数の分散はフィッシャー情報量と呼ばれます。
ここで、統計分析フリー(無料)ソフトの「R」を用いて、上記講座でも紹介した尤度関数、対数尤度関数を求めていきます。「R」のインストール方法については、下記リンク先のサイトを参照ください。(Rの基本知識、基本操作は、こちらの「Rを用いた統計講座(基礎編)」の第1回〜第7回を参照いただければと思います。)
コインをn回投げ、表が出る確率がp 、裏が出る確率1-pの問題において、10回中3回表が出たとする。この時、Rで「尤度関数」と「対数尤度関数」のグラフを求める。
コインを10回投げたときのデータとして、表を「1」裏を「0」とする。(例では、10回中3回表が出るため、「1」が3個、「0」が7個のデータを用いる。)
「尤度関数」のグラフを表示するサンプルコードは、以下の通りです。
data<-c(0,1,1,1,0,0,0,0,0,0)
LL_Bern<-function(x,q) {
q^sum(x)*(1-q)^(length(x)-sum(x))
}
plot(seq(0,1,0.01),LL_Bern(data,seq(0,1,0.01)),type=”l”)
「対数尤度関数」のグラフを表示するサンプルコードは、以下の通りです。
data<-c(0,1,1,1,0,0,0,0,0,0)
logLL_Bern<-function(x,q) {
sum(x)*log(q)+(length(x)-sum(x))*log(1-q)
}
plot(seq(0,1,0.01),logLL_Bern(data,seq(0,1,0.01)),
type=”l”)
◆出題用語(本講座で出題された用語をまとめます。下記用語の意味がわからない場合は本講座を復習してみてください。)
- 尤度関数(ユウド関数)
- 最尤推定量
- 不変性
- 対数尤度関数
- 有効スコア関数
- スコア関数
- フィッシャー情報量
コメント
コメント一覧 (1件)
[…] 第12回「尤度・最尤推定」 〜 統計的推定 ② 〜 […]