题目

设 $X$ 和 $Y$ 为取值在 $\{0, 1\}$ 中的随机变量。对于参数 $\alpha, \beta, \gamma \in [0, 1]$，定义概率如下：

• $P(X = 0) = \alpha$
• $P(X = 1) = 1 - \alpha$
• $P(Y = 0 | X = 0) = \beta$
• $P(Y = 1 | X = 0) = 1 - \beta$
• $P(Y = 0 | X = 1) = \gamma$
• $P(Y = 1 | X = 1) = 1 - \gamma$ 定义二进制熵函数 $h(p)$ 如下：

$$h(p) = \begin{cases} -p \log p - (1-p) \log (1-p), & \text{如果 } 0 < p < 1 \\ 0, & \text{如果 } p = 0 \text{ 或 } p = 1 \end{cases}$$

问题

1. 使用二进制熵函数表达条件熵 $H(Y | X)$。
2. 若 $\beta = 1 - \gamma$，求使相互信息量 $I(X; Y)$ 最大化的 $\alpha$ 值，并用二进制熵函数及 $\alpha, \beta$ 表达 $I(X; Y)$ 的最大值。
3. 固定 $\alpha, \beta$ 的值（$0 < \alpha < 1$），求使相互信息量 $I(X; Y)$ 最小化的 $\gamma$ 值，并表示该最小值。
4. 固定 $\alpha, \beta$ 的值（$0 < \alpha < 1, \beta > \frac{1}{2}$），求使相互信息量 $I(X; Y)$ 最大化的 $\gamma$ 值。

---

GPT-4o

解答

1. 使用二进制熵函数表达条件熵 $H(Y | X)$

条件熵 $H(Y | X)$ 表达了在给定 $X$ 的情况下，随机变量 $Y$ 的不确定性。根据题目中的概率定义，我们可以写出：

$$H(Y | X) = \sum_{x \in \{0, 1\}} P(X = x) H(Y | X = x)$$

根据条件概率的定义，我们知道：

• 当 $X = 0$ 时，$P(Y = 0 | X = 0) = \beta$ 和 $P(Y = 1 | X = 0) = 1 - \beta$；
• 当 $X = 1$ 时，$P(Y = 0 | X = 1) = \gamma$ 和 $P(Y = 1 | X = 1) = 1 - \gamma$。 因此，对于每个条件，$Y$ 的熵分别为：

$$H(Y | X = 0) = h(\beta), \quad H(Y | X = 1) = h(\gamma)$$

其中，二进制熵函数 $h(p)$ 定义为：

$$h(p) = -p \log p - (1-p) \log (1-p) \quad \text{(如果 } 0 < p < 1\text{)}$$

因此，条件熵 $H(Y | X)$ 为：

$$H(Y | X) = \alpha h(\beta) + (1 - \alpha) h(\gamma)$$

其中，$\alpha$ 是 $P(X = 0)$，而 $1 - \alpha$ 是 $P(X = 1)$。

2. 若 $\beta = 1 - \gamma$，求使相互信息量 $I(X; Y)$ 最大化的 $\alpha$ 值，并用二进制熵函数及 $\alpha, \beta$ 表达 $I(X; Y)$ 的最大值

相互信息量 $I(X; Y)$ 定义为：

$$I(X; Y) = H(Y) - H(Y | X)$$

其中，$H(Y | X)$ 是条件熵，已在第一部分给出：

$$H(Y | X) = \alpha h(\beta) + (1 - \alpha) h(\gamma)$$

而 $H(Y)$ 是 $Y$ 的熵，它可以通过求解 $P(Y = 0)$ 和 $P(Y = 1)$ 来得到。我们首先计算 $P(Y = 0)$ 和 $P(Y = 1)$：

$$P(Y = 0) = P(Y = 0 | X = 0) P(X = 0) + P(Y = 0 | X = 1) P(X = 1) = \alpha \beta + (1 - \alpha) \gamma$$

$$P(Y = 1) = P(Y = 1 | X = 0) P(X = 0) + P(Y = 1 | X = 1) P(X = 1) = \alpha (1 - \beta) + (1 - \alpha)(1 - \gamma)$$

因此，$H(Y)$ 为：

$$H(Y) = h(\alpha \beta + (1 - \alpha) \gamma)$$

结合 $H(Y | X)$，我们得到相互信息量 $I(X; Y)$ 为：

$$I(X; Y) = h(\alpha \beta + (1 - \alpha) \gamma) - [ \alpha h(\beta) + (1 - \alpha) h(\gamma) ]$$

现在，要求 $I(X; Y)$ 最大化。题目中给定了 $\beta = 1 - \gamma$，因此我们可以将其代入并进行求解。为了最大化 $I(X; Y)$，我们需要找到使 $h(p)$ 最大的 $p$，而二进制熵函数 $h(p)$ 在 $p = 0.5$ 时最大。所以，要求：

$$\alpha \beta + (1 - \alpha) \gamma = 0.5$$

将 $\beta = 1 - \gamma$ 代入，得到：

$$\alpha (1 - \gamma) + (1 - \alpha) \gamma = 0.5$$

解这个方程，得到 $\alpha$ 的最优值。通过整理：

$$\alpha - \alpha \gamma + (1 - \alpha) \gamma = 0.5$$

$$\alpha - \alpha \gamma + \gamma - \alpha \gamma = 0.5$$

$$\alpha + \gamma(1 - 2\alpha) = 0.5$$

这给出的是关于 $\alpha$ 和 $\gamma$ 的关系。为了进一步分析，可以根据具体的 $\gamma$ 值来求解 $\alpha$。

---

3. 固定 $\alpha, \beta$，使 $I(X; Y)$ 最小化

问题 3：固定 $\alpha, \beta$，求使 $I(X; Y)$ 最小化的 $\gamma$

我们从相互信息的定义出发：

$$I(X; Y) = H(Y) - H(Y|X),$$

其中：

$$H(Y|X) = \alpha h(\beta) + (1-\alpha) h(\gamma).$$

边缘熵 $H(Y)$ 计算如下：

$$P(Y=0) = \alpha \beta + (1-\alpha) \gamma, \quad P(Y=1) = 1 - P(Y=0),$$

$$H(Y) = h(P(Y=0)) = h(\alpha \beta + (1-\alpha) \gamma).$$

因此，相互信息为：

$$I(X; Y) = h(\alpha \beta + (1-\alpha) \gamma) - \left[\alpha h(\beta) + (1-\alpha) h(\gamma)\right].$$

条件 1：最小化 $I(X; Y)$

要使 $I(X; Y)$ 最小化，可以通过调整 $\gamma$ 来让 $H(Y) - H(Y|X)$ 的差最小。

• 当 $\gamma = \beta$ 时：

  $$P(Y=0) = \alpha \beta + (1-\alpha)\beta = \beta.$$

  此时：

  $$H(Y) = h(\beta), \quad H(Y|X) = \alpha h(\beta) + (1-\alpha) h(\beta) = h(\beta).$$

  相互信息：

  $$I(X; Y) = h(\beta) - h(\beta) = 0.$$

结论：

当 $\gamma = \beta$ 时，相互信息 $I(X; Y)$ 取得最小值，且最小值为：

$$I(X; Y) = 0.$$

---

4. 固定 $\alpha, \beta$，使 $I(X; Y)$ 最大化的 $\gamma$

相互信息最大化的关键是调整 $\gamma$ 使 $H(Y) - H(Y|X)$ 的差最大化。为此，我们需要最大化 $H(Y)$ 并最小化 $H(Y|X)$。

条件 1：最小化 $H(Y|X)$

$$H(Y|X) = \alpha h(\beta) + (1-\alpha) h(\gamma).$$

$\gamma$ 应选择使 $h(\gamma)$ 最小，即：

$$\gamma = 0 \quad \text{或} \quad \gamma = 1.$$

此时 $h(\gamma) = 0$，有：

$$H(Y|X) = \alpha h(\beta).$$

条件 2：最大化 $H(Y)$

当 $\gamma = 0$ 或 $\gamma = 1$ 时：

$$P(Y=0) = \alpha \beta + (1-\alpha)\gamma.$$

• 若 $\gamma = 0$，则 $P(Y=0) = \alpha \beta$。
• 若 $\gamma = 1$，则 $P(Y=0) = \alpha \beta + (1-\alpha) = \alpha (\beta - 1) + 1$。 我们选择 $\gamma$ 使 $P(Y=0)$ 接近 0.5，从而使 $H(Y)$ 最大化。

---

结论：

• 固定 $\alpha, \beta$，若 $\beta > \frac{1}{2}$，使 $I(X; Y)$ 最大化的 $\gamma$ 为：

  $$\gamma = 0.$$

  最大相互信息量为：

  $$I(X; Y) = h(\alpha \beta) - \alpha h(\beta).$$