「フィッシャー情報量」って結局なんなのさ

見事統計検定１級で撃沈してしまいました。
そこで2024年の問題で問われた「フィッシャー情報量」「クラメール・ラオの下限」について、整理し、メモを供養します。

↓2024年統計検定１級 統計数理第１問

統計検定１級の過去問
https://www.toukei-kentei.jp/preparation/kakomon

パラメータ推定

パラメータ推定の話を考えます。

母集団から得られたサンプルデータ群から、母集団の平均や標準偏差を推定することをパラメータ推定といいます。
特に、例えば「この母集団の平均値は1.4だ！」などのようにジャストでパラメータを言い当てることを「点推定」といいます。
実際には、実験して得られた標本（実現値）から、パラメータを推定することになるので、点推定は「標本から推定値を得るための関数を作り、その関数に実現値を代入して推定値を求める」ことになります。

数式的には、パラメータ $\mathit{\theta <!--\; \theta \; -->}$ を持つ母集団から得られるサンプルを $\mathit{X}=(X_1,...,X_n)$ とおき、その関数 $\stackrel{\mathbf{^<!--\; ^\; -->}}{\mathit{\theta <!--\; \theta \; -->}}(\mathit{X})$ を構築します。
実験によって実現値 $\mathit{x}=(x_1,...,x_n)$を得られたとき、 $\stackrel{\mathbf{^<!--\; ^\; -->}}{\mathit{\theta <!--\; \theta \; -->}}(\mathit{x})$ が点推定値となります。

点推定の方法

最尤さいゆう推定法(MLE, Maximum Likelihood Estimation)

一番有名な点推定の方法かなと思います。理論上、最も良い推定量を得られることが証明されているようです。

サンプル $\mathit{X}=(X_1,...,X_n)$ の同時確率関数を、パラメータ $\mathit{\theta <!--\; \theta \; -->}$ の関数として、

$$L(\mathit{\theta <!--\; \theta \; -->})=\underset{i=1}{\overset{n}{\prod <!--\; \prod \; -->}}f(x_i|\mathit{\theta <!--\; \theta \; -->})$$

とします。つまり、サンプル中のデータ $x_i$ すべてに対して、それが得られる確率を計算し、すべて掛け合わせた関数です。

この関数のことを「尤度関数」と呼びます。

この尤度関数を最大にする $\mathit{\theta <!--\; \theta \; -->}$ を、最尤推定量(MLE)と呼びます。θ^のようにあらわします。

$L(\stackrel{\mathbf{^<!--\; ^\; -->}}{\mathit{\theta <!--\; \theta \; -->}})=\underset{\mathit{\theta <!--\; \theta \; -->}}{max}L(\mathit{\theta <!--\; \theta \; -->})$

例

ある養鶏所にて、採取される卵の重さが正規分布に従うとして、平均値（母平均）と分散（母分散）がそれぞれ未知の値 $\mathrm{\mu <!--\; \mu \; -->},{\mathrm{\sigma <!--\; \sigma \; -->}}^2$ であるとし、 $\mathrm{\mu <!--\; \mu \; -->}$ を推定するケースを考えます。
n個の卵を採取し、その重さがそれぞれ $X_1,X_2,...,X_n$ だった場合、 $L(\mathrm{\mu <!--\; \mu \; -->},{\mathrm{\sigma <!--\; \sigma \; -->}}^2)=\underset{i=1}{\overset{n}{\prod <!--\; \prod \; -->}}N(X_i|\mathrm{\mu <!--\; \mu \; -->},{\mathrm{\sigma <!--\; \sigma \; -->}}^2)$
この対数をとって、 $\mathrm{\mu <!--\; \mu \; -->}$ について微分すると、
$\frac{\mathrm{\partial <!--\; \partial \; -->}}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\mu <!--\; \mu \; -->}}\mathrm{l}\mathrm{o}\mathrm{g}L(\mathrm{\mu <!--\; \mu \; -->},{\mathrm{\sigma <!--\; \sigma \; -->}}^2)=-<!--\; -\; -->\frac{n}{{\mathrm{\sigma <!--\; \sigma \; -->}}^2}(\mathrm{\mu <!--\; \mu \; -->}-<!--\; -\; -->n^{-<!--\; -\; -->1}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{X}_i)$ となるため、
$\mathrm{\mu <!--\; \mu \; -->}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{X}_i$ とすると対数尤度が最大になることがわかります。
したがって、標本平均 $\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{X}_i$ は $\mathrm{\mu <!--\; \mu \; -->}$ の最尤推定量となります。

ここで上げた以外にも、「モーメント法」や「ベイズ法」などの推定方法もありますが、
前述の「最尤推定法」が最も精度が良い推定法となります。

クラメールの下限とフィッシャー情報量

点推定における、推定量の「よさ」とはどのようなものでしょうか。

点推定を行うとき、気になるのは、その推定量がどの程度ブレがあるか、というところになると思います。なるべくブレの少ない推定量を使いたいですよね。
この推定量の「ブレ」についてすこし議論してみたいとおもいます。

結論から言うと、最尤推定法による点推定の方法が、最もブレを少なくする方法となります。

これを示すためには、

１.推定量の分散 ${\mathrm{V}\mathrm{a}\mathrm{r}}_{\mathrm{\theta <!--\; \theta \; -->}}(\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}})$ の下限を求める
つまり、その母数（母集団のパラメータ）を推定したときに、どこまでブレを抑えられるのかを求める

２.最尤推定量が1. の下限（クラメール・ラオの下限）に一致する

この２つを示す必要があります。

1.を示したのが、「クラメール・ラオの不等式」となります。

・クラメール・ラオの不等式
適当な正則条件のもと、パラメータ $\mathrm{\theta <!--\; \theta \; -->}$ の推定量 $\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}=\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}(X_1,X_2,..,X_n)$ が不偏推定量（実験を繰り返すことにより真値に収束していく推定量）であるとき、次の不等式が任意の $\mathrm{\theta <!--\; \theta \; -->}$ について成り立つ

$${\mathrm{V}\mathrm{a}\mathrm{r}}_{\mathrm{\theta <!--\; \theta \; -->}}(\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}})\ge <!--\; \ge \; -->\frac{1}{nI(\mathrm{\theta <!--\; \theta \; -->})}$$

（証明はこちら参考に）

この不等式は、任意の母数 $\mathrm{\theta <!--\; \theta \; -->}$ に対して、不偏推定量 $\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}$ の分散が $1/nI(\mathrm{\theta <!--\; \theta \; -->})$ より小さくならないことを示しており、この右辺の値を「クラメール・ラオの下限」と呼びます。

で、この 式の中に含まれている I(θ)I(θ)が、「フィッシャー情報量」という関数になります。

フィッシャー情報量は、次のような式です。

$$I(\mathrm{\theta <!--\; \theta \; -->})=E[(\frac{d}{d\mathrm{\theta <!--\; \theta \; -->}}logf(X|\mathrm{\theta <!--\; \theta \; -->}){)}^2]={\int <!--\; \int \; -->}_{\mathcal{X}}(\frac{d}{d\mathrm{\theta <!--\; \theta \; -->}}logf(X|\mathrm{\theta <!--\; \theta \; -->}){)}^{2}f(X|\mathrm{\theta <!--\; \theta \; -->})dX$$

(𝓧は𝑿の定義域)

つまり、「対数尤度関数をパラメータ変数で微分したやつを２乗した関数の、観測値に関する期待値」

一方、2. のほうは、クラメール・ラオの下限を求めたうえで、最尤推定量の分散がそれに一致することを証明する必要があります。

例

先ほどの例の「卵の重さの平均」の例を考えます。

各データが、独立同一分布に従うとき、 $I(\mathrm{\theta <!--\; \theta \; -->})$ は、1つのデータについてのフィッシャー情報量を求めればよいので、
先ほどの例の(*)の式で、 $n=1$ と置いて、2乗した関数をXについて積分すれば、フィッシャー情報量が求まります。

つまりどういうこと？

ここまでくると数式を解釈しての理解は困難ですが、フィッシャー情報量が、クラメール・ラオの下限の分母に来ていることを考えると、

「フィッシャー情報量が大きいほど、推定量の分散を下げられる（ブレを抑えられる）」

といえそうです。
フィッシャー情報量は、「その母数を推定するための情報がどれだけ得られるか」と解釈してよいでしょう。

冒頭の「問１」に関しては、線形単回帰モデルの「回帰係数ββ」の不偏推定量をまず求めないと、フィッシャー情報量やクラメール・ラオの下限の話に行けないという構造になっていますので、どこかで線形単回帰モデルについても触れたいと思っています。