概率密度例题

確率密度関数 $p(x)$ を持つ確率変数 $X$ に対して，モーメント母関数 $M(\theta)$ は、変数 $\theta$ を用いて次式で定義されます：

$$M(\theta) = E[\exp(\theta X)] = \int_{-\infty}^{\infty} \exp(\theta x) p(x) \, dx$$

また，$N(\mu, \sigma^2)$ は，平均 $\mu$，分散 $\sigma^2$ の正規分布を表し，その確率密度関数 $p_N(x)$ は次式で定義されます：

$$p_N(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)$$

(1) $N(\mu, \sigma^2)$ のモーメント母関数を $M_N(\theta)$ としたとき、次式を導出します：

$$M_N(\theta) = \exp\left(\mu \theta + \frac{\sigma^2}{2} \theta^2\right)$$

まず、$M_N(\theta)$ を定義式に従って計算します：

$$M_N(\theta) = E[\exp(\theta X)] = \int_{-\infty}^{\infty} \exp(\theta x) p_N(x) \, dx$$

ここで、$p_N(x)$ を代入します：

$$M_N(\theta) = \int_{-\infty}^{\infty} \exp(\theta x) \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right) \, dx$$

指数関数の部分をまとめます：

$$M_N(\theta) = \frac{1}{\sqrt{2\pi\sigma^2}} \int_{-\infty}^{\infty} \exp\left(\theta x - \frac{(x - \mu)^2}{2\sigma^2}\right) \, dx$$

ここで、$\theta x - \frac{(x - \mu)^2}{2\sigma^2}$ を簡略化します。まず、分母を共通化します：

$$\theta x - \frac{(x - \mu)^2}{2\sigma^2} = \theta x - \frac{x^2 - 2\mu x + \mu^2}{2\sigma^2} = \theta x - \frac{x^2}{2\sigma^2} + \frac{\mu x}{\sigma^2} - \frac{\mu^2}{2\sigma^2}$$

$\theta x$ と $\frac{\mu x}{\sigma^2}$ をまとめます：

$$\theta x + \frac{\mu x}{\sigma^2} = \frac{\theta \sigma^2 + \mu}{\sigma^2} x$$

したがって、式全体は次のようになります：

$$\exp\left(\theta x - \frac{(x - \mu)^2}{2\sigma^2}\right) = \exp\left(-\frac{x^2}{2\sigma^2} + \frac{\theta \sigma^2 + \mu}{\sigma^2} x - \frac{\mu^2}{2\sigma^2}\right)$$

ここで、補完平方（ completing the square）を使います：

$$-\frac{x^2}{2\sigma^2} + \frac{\theta \sigma^2 + \mu}{\sigma^2} x = -\frac{1}{2\sigma^2} \left( x^2 - 2(\theta \sigma^2 + \mu)x \right) = -\frac{1}{2\sigma^2} \left( x - (\theta \sigma^2 + \mu) \right)^2 + \frac{(\theta \sigma^2 + \mu)^2}{2\sigma^2}$$

したがって、

$$\exp\left(\theta x - \frac{(x - \mu)^2}{2\sigma^2}\right) = \exp\left(-\frac{1}{2\sigma^2} \left( x - (\theta \sigma^2 + \mu) \right)^2 + \frac{(\theta \sigma^2 + \mu)^2}{2\sigma^2} - \frac{\mu^2}{2\sigma^2}\right)$$

この式を $M_N(\theta)$ に代入します：

$$M_N(\theta) = \frac{1}{\sqrt{2\pi\sigma^2}} \int_{-\infty}^{\infty} \exp\left(-\frac{1}{2\sigma^2} \left( x - (\theta \sigma^2 + \mu) \right)^2\right) \exp\left(\frac{(\theta \sigma^2 + \mu)^2}{2\sigma^2} - \frac{\mu^2}{2\sigma^2}\right) \, dx$$

ここで、定数部分を積分の外に出します：

$$M_N(\theta) = \exp\left(\frac{(\theta \sigma^2 + \mu)^2}{2\sigma^2} - \frac{\mu^2}{2\sigma^2}\right) \frac{1}{\sqrt{2\pi\sigma^2}} \int_{-\infty}^{\infty} \exp\left(-\frac{1}{2\sigma^2} \left( x - (\theta \sigma^2 + \mu) \right)^2\right) \, dx$$

最後の積分部分は正規分布の確率密度関数の積分なので、1 になります：

$$M_N(\theta) = \exp\left(\frac{(\theta \sigma^2 + \mu)^2}{2\sigma^2} - \frac{\mu^2}{2\sigma^2}\right)$$

式を整理します：

$$M_N(\theta) = \exp\left(\frac{\theta^2 \sigma^4 + 2\theta \sigma^2 \mu + \mu^2}{2\sigma^2} - \frac{\mu^2}{2\sigma^2}\right)$$

$\mu^2$ がキャンセルされます：

$$M_N(\theta) = \exp\left(\frac{\theta^2 \sigma^4 + 2\theta \sigma^2 \mu}{2\sigma^2}\right)$$

最後に：

$$M_N(\theta) = \exp\left(\mu \theta + \frac{\sigma^2}{2} \theta^2\right)$$

これで、$N(\mu, \sigma^2)$ のモーメント母関数 $M_N(\theta)$ が導出されました。