82-sc-r3 追試験 問題3 問3 (1)

以下内容为CPT-4生成，其中有错误步骤，请尝试找出

---

尤度函数是统计模型中用于表示在给定参数下观测到的数据的概率的函数. 对于线性模型 $y = a_1 x_1 + a_2 x_2 + e$, 其中 $e$ 是服从标准正态分布的误差项, 我们可以通过观测数据求尤度函数.

首先, 我们有三个观测:

$$\begin{cases} a_1 = 1, a_2 = 0, y = -5 \\ a_1 = 0, a_2 = 1, y = 7 \\ a_1 = 1, a_2 = 1, y = 1 \\ \end{cases}$$

观测到的 $y$ 值分别是 $-5$、$7$ 和 $1$.

尤度函数 $L$ 可以表示为:

$$L(\beta_1, \beta_2) = P(y_1 = -5, y_2 = 7, y_3 = 1 | \beta_1, \beta_2)$$

由于误差 $e$ 服从标准正态分布 $N(0, 1)$, 每个观测值的概率密度函数为:

$$f(y_i | \beta_1, \beta_2) = \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{(y_i - (\beta_1 x_{1i} + \beta_2 x_{2i}))^2}{2}\right)$$

尤度函数是所有观测值的联合概率密度函数的乘积:

$$L(\beta_1, \beta_2) = \prod_{i=1}^3 f(y_i | \beta_1, \beta_2)$$

将具体的观测数据代入, 得到:

$$L(\beta_1, \beta_2) = \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{(-5 - \beta_1)^2}{2}\right) \times \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{(7 - \beta_2)^2}{2}\right) \times \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{(1 - (\beta_1 + \beta_2))^2}{2}\right)$$

可以简化为:

$$L(\beta_1, \beta_2) = \left(\frac{1}{2\pi}\right)^{3/2} \exp\left(-\frac{1}{2} \left[(-5 - \beta_1)^2 + (7 - \beta_2)^2 + (1 - (\beta_1 + \beta_2))^2\right]\right)$$

为了找到最尤估计(MLE) , 我们需要对 $\beta_1$ 和 $\beta_2$ 求导, 并使得导数为零. 由于 $L$ 是一个乘积的指数函数, 处理起来不方便, 我们通常取对数尤度函数(log-likelihood function) :

$$\log L(\beta_1, \beta_2) = -\frac{3}{2} \log(2\pi) - \frac{1}{2} \left[(-5 - \beta_1)^2 + (7 - \beta_2)^2 + (1 - (\beta_1 + \beta_2))^2\right]$$

对数尤度函数的最大化等同于尤度函数的最大化. 我们分别对 $\beta_1$ 和 $\beta_2$ 求偏导数, 并设为零:

对 $\beta_1$ 求偏导数:

$$\frac{\partial \log L}{\partial \beta_1} = -\frac{\partial}{\partial \beta_1} \left[ \frac{1}{2} ((-5 - \beta_1)^2 + (1 - (\beta_1 + \beta_2))^2) \right] = 0$$

对 $\beta_2$ 求偏导数:

$$\frac{\partial \log L}{\partial \beta_2} = -\frac{\partial}{\partial \beta_2} \left[ \frac{1}{2} ((7 - \beta_2)^2 + (1 - (\beta_1 + \beta_2))^2) \right] = 0$$

解决这两个方程可以得到 $\beta_1$ 和 $\beta_2$ 的最尤估计.

首先对 $\beta_1$ 的偏导数:

$$\frac{\partial \log L}{\partial \beta_1} = -(-5 - \beta_1) - (1 - (\beta_1 + \beta_2)) = 0$$

$$\Rightarrow -5 - \beta_1 + 1 - \beta_1 - \beta_2 = 0$$

$$\Rightarrow -2\beta_1 - \beta_2 - 4 = 0$$

$$\Rightarrow 2\beta_1 + \beta_2 = -4 \quad \text{(1)}$$

然后对 $\beta_2$ 的偏导数:

$$\frac{\partial \log L}{\partial \beta_2} = -(7 - \beta_2) - (1 - (\beta_1 + \beta_2)) = 0$$

$$\Rightarrow 7 - \beta_2 + 1 - \beta_1 - \beta_2 = 0$$

$$\Rightarrow -\beta_1 - 2\beta_2 + 8 = 0$$

$$\Rightarrow \beta_1 + 2\beta_2 = 8 \quad \text{(2)}$$

联立方程(1) 和(2) 可以解出 $\beta_1$ 和 $\beta_2$:

$$2\beta_1 + \beta_2 = -4 \\ \beta_1 + 2\beta_2 = 8$$

通过解这个线性方程组, 我们得到:

$$\beta_1 = -6 \\ \beta_2 = 7$$

因此, 最尤估计 $\beta_1 = -6$ 和 $\beta_2 = 7$.