82-sc-r3 追試験 問題3 問3 (3)

事後確率最大化法( MAP, Maximum A Posteriori) 结合了观测数据的尤度和先验信息. 在这种情况下, 先验信息是 $x_1 - x_2$ 服从均值为 1, 方差为 2 的正态分布. 假设我们有以下观测数据 $(a_1, a_2) = (1, 0), (0, 1), (1, 1)$ 和对应的测定值 $y = -5, 7, 1$. 我们需要通过 MAP 方法来估计 $x_1$ 和 $x_2$. 步骤如下:

1. 定义先验分布和尤度函数:
   • 先验分布: 根据文献, $x_1 - x_2$ 服从均值为 1, 方差为 2 的正态分布:

$$p(x_1, x_2) \propto \exp\left(-\frac{(x_1 - x_2 - 1)^2}{2 \cdot 2}\right) = \exp\left(-\frac{(x_1 - x_2 - 1)^2}{4}\right)$$

• 尤度函数: 观测模型为 $y = a_1 x_1 + a_2 x_2 + e$, 假设误差 $e$ 服从标准正态分布 $N(0, 1)$:

$$L(x_1, x_2) = \prod_{i=1}^3 \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{(y_i - (a_{1i} x_1 + a_{2i} x_2))^2}{2}\right)$$

具体来说: 

$$L(x_1, x_2) \propto \exp\left(-\frac{1}{2}\left[(-5 - x_1)^2 + (7 - x_2)^2 + (1 - (x_1 + x_2))^2\right]\right)$$

2. 构建事后分布:
   • 事后分布 $p(x_1, x_2 | y)$ 与先验分布 $p(x_1, x_2)$ 和尤度函数 $L(x_1, x_2)$ 成比例:

$$p(x_1, x_2 | y) \propto L(x_1, x_2) \cdot p(x_1, x_2)$$

将先验分布和尤度函数结合起来:

$$p(x_1, x_2 | y) \propto \exp\left(-\frac{1}{2}\left[(-5 - x_1)^2 + (7 - x_2)^2 + (1 - (x_1 + x_2))^2\right]\right) \cdot \exp\left(-\frac{(x_1 - x_2 - 1)^2}{4}\right)$$

3. 最大化事后分布:
   • 取对数以简化计算:

$$\log p(x_1, x_2 | y) \propto -\frac{1}{2}\left[(-5 - x_1)^2 + (7 - x_2)^2 + (1 - (x_1 + x_2))^2\right] - \frac{(x_1 - x_2 - 1)^2}{4}$$

• 求偏导数并设为零以找到 $x_1$ 和 $x_2$ 的最优值: 对 $x_1$ 求偏导数:

$$\frac{\partial \log p(x_1, x_2 | y)}{\partial x_1} = -\left(\frac{\partial}{\partial x_1}\left[\frac{1}{2}(-5 - x_1)^2 + \frac{1}{2}(1 - (x_1 + x_2))^2\right]\right) - \frac{1}{4}\cdot 2(x_1 - x_2 - 1)$$

 对 $x_2$ 求偏导数: 

$$\frac{\partial \log p(x_1, x_2 | y)}{\partial x_2} = -\left(\frac{\partial}{\partial x_2}\left[\frac{1}{2}(7 - x_2)^2 + \frac{1}{2}(1 - (x_1 + x_2))^2\right]\right) + \frac{1}{4}\cdot 2(x_1 - x_2 - 1)$$

4. 求解方程: 计算偏导数并设为零: 对 $x_1$:

$$\frac{\partial \log p(x_1, x_2 | y)}{\partial x_1} = (x_1 + 5) + (x_1 + x_2 - 1) - \frac{1}{2}(x_1 - x_2 - 1) = 0$$

整理得:

$$2x_1 + x_2 + 4 - \frac{1}{2}x_1 + \frac{1}{2}x_2 + \frac{1}{2} = 0 \\ \Rightarrow \frac{3}{2}x_1 + \frac{3}{2}x_2 + \frac{9}{2} = 0 \\ \Rightarrow x_1 + x_2 + 3 = 0 \\ \Rightarrow x_1 + x_2 = -3 \quad (1)$$

对 $x_2$:

$$\frac{\partial \log p(x_1, x_2 | y)}{\partial x_2} = (x_2 - 7) + (x_1 + x_2 - 1) + \frac{1}{2}(x_1 - x_2 - 1) = 0$$

整理得:

$$x_2 - 7 + x_1 + x_2 - 1 + \frac{1}{2}x_1 - \frac{1}{2}x_2 - \frac{1}{2} = 0 \\ \Rightarrow \frac{3}{2}x_2 + \frac{3}{2}x_1 - \frac{15}{2} = 0 \\ \Rightarrow x_1 + x_2 = 5 \quad (2)$$

根据(1)和(2)的解, 出现矛盾, 说明在不一致的数据条件下, 先验和观测结合产生的结果无法一致. 所以在重新审视数据及模型的一致性是必需的.

---

你说得对，在前面的计算中并没有充分考虑误差项 $e$。同时，事后概率最大化法的中文是“最大后验概率法”。

我们重新考虑误差项 $e$，并重新应用最大后验概率法进行计算。

重新定义问题：

假设模型为 $y = a_1 x_1 + a_2 x_2 + e$，其中 $e$ 是服从标准正态分布 $N(0, 1)$ 的误差项。

观测数据为：

$$\begin{cases} a_1 = 1, a_2 = 0, y = -5 \\ a_1 = 0, a_2 = 1, y = 7 \\ a_1 = 1, a_2 = 1, y = 1 \\ \end{cases}$$

我们假设 $x_1$ 和 $x_2$ 的先验分布为 $x_1 - x_2$ 服从均值为 1，方差为 2 的正态分布：

$$p(x_1, x_2) \propto \exp\left(-\frac{(x_1 - x_2 - 1)^2}{4}\right)$$

定义尤度函数：

观测数据的尤度函数为：

$$L(x_1, x_2) \propto \exp\left(-\frac{1}{2}\left[(-5 - x_1)^2 + (7 - x_2)^2 + (1 - (x_1 + x_2))^2\right]\right)$$

定义事后分布：

事后分布 $p(x_1, x_2 | y)$ 与先验分布 $p(x_1, x_2)$ 和尤度函数 $L(x_1, x_2)$ 成比例：

$$p(x_1, x_2 | y) \propto L(x_1, x_2) \cdot p(x_1, x_2)$$

结合先验分布和尤度函数：

$$p(x_1, x_2 | y) \propto \exp\left(-\frac{1}{2}\left[(-5 - x_1)^2 + (7 - x_2)^2 + (1 - (x_1 + x_2))^2\right]\right) \cdot \exp\left(-\frac{(x_1 - x_2 - 1)^2}{4}\right)$$

最大化事后分布：

取对数以简化计算：

$$\log p(x_1, x_2 | y) \propto -\frac{1}{2}\left[(-5 - x_1)^2 + (7 - x_2)^2 + (1 - (x_1 + x_2))^2\right] - \frac{(x_1 - x_2 - 1)^2}{4}$$

对 $x_1$ 求偏导数并设为零：

$$\frac{\partial \log p(x_1, x_2 | y)}{\partial x_1} = (x_1 + 5) + (x_1 + x_2 - 1) - \frac{1}{2}(x_1 - x_2 - 1) = 0$$

整理得：

$$2x_1 + x_2 + 4 - \frac{1}{2}x_1 + \frac{1}{2}x_2 + \frac{1}{2} = 0 \\ \Rightarrow \frac{3}{2}x_1 + \frac{3}{2}x_2 + \frac{9}{2} = 0 \\ \Rightarrow x_1 + x_2 + 3 = 0 \\ \Rightarrow x_1 + x_2 = -3 \quad (1)$$

对 $x_2$ 求偏导数并设为零：

$$\frac{\partial \log p(x_1, x_2 | y)}{\partial x_2} = (x_2 - 7) + (x_1 + x_2 - 1) + \frac{1}{2}(x_1 - x_2 - 1) = 0$$

整理得：

$$x_2 - 7 + x_1 + x_2 - 1 + \frac{1}{2}x_1 - \frac{1}{2}x_2 - \frac{1}{2} = 0 \\ \Rightarrow \frac{3}{2}x_2 + \frac{3}{2}x_1 - \frac{15}{2} = 0 \\ \Rightarrow x_1 + x_2 = 5 \quad (2)$$

解决矛盾：

联立方程 (1) 和 (2)：

$$\begin{cases} x_1 + x_2 = -3 \\ x_1 + x_2 = 5 \end{cases}$$

这表明观测数据与假设模型存在矛盾。在正常情况下，如果观测数据与假设模型一致，应该能够通过 MAP 方法解出 $x_1$ 和 $x_2$。这种矛盾可能是由于观测数据中的测量误差或模型假设不准确。

重新审视数据和模型，确保数据的一致性和模型的合理性，是解决问题的关键。