問1

以下の各問いに答えよ。 (1) 区間 $[0, a]$ ($a > 0$) 上の一様分布に従う確率変数の微分エントロピーを求めよ。 (2) 区間 $[0, a]$ ($a > 0$) 上で定義された確率密度関数 $p(x) = \frac{2x}{a^2}$ に従う確率変数の微分エントロピーを求めよ。

Information theory

中文翻译

请回答以下问题。 (1) 求区间 $[0, a]$ ($a > 0$) 上均匀分布的随机变量的微分熵。 (2) 求区间 $[0, a]$ ($a > 0$) 上概率密度函数为 $p(x) = \frac{2x}{a^2}$ 的随机变量的微分熵。

解答

(1) 均匀分布的微分熵为

$$h(X) = -\int_0^a \frac{1}{a} \log \frac{1}{a} \, dx = \log a$$

(2) 对于概率密度函数 $p(x) = \frac{2x}{a^2}$，微分熵为

$$h(X) = -\int_0^a \frac{2x}{a^2} \log \frac{2x}{a^2} \, dx = \log a - \frac{1}{2}$$

DeepSeekV3

解答：

(1) 区间 $[0, a]$ 上均匀分布的随机变量的微分熵：

均匀分布的概率密度函数为：

$$p(x) = \frac{1}{a}, \quad 0 \leq x \leq a$$

微分熵的定义为：

$$h(X) = -\int_{0}^{a} p(x) \log p(x) \, dx$$

代入 $p(x) = \frac{1}{a}$：

$$h(X) = -\int_{0}^{a} \frac{1}{a} \log \frac{1}{a} \, dx$$

$$= -\frac{1}{a} \log \frac{1}{a} \cdot a$$

$$= -\log \frac{1}{a}$$

$$= \log a$$

因此，区间 $[0, a]$ 上均匀分布的随机变量的微分熵为：

$$h(X) = \log a$$

(2) 区间 $[0, a]$ 上概率密度函数 $p(x) = \frac{2x}{a^2}$ 的随机变量的微分熵：

微分熵的定义为：

$$h(X) = -\int_{0}^{a} p(x) \log p(x) \, dx$$

代入 $p(x) = \frac{2x}{a^2}$：

$$h(X) = -\int_{0}^{a} \frac{2x}{a^2} \log \left( \frac{2x}{a^2} \right) \, dx$$

为了简化计算，进行变量代换 $y = \frac{x}{a}$，则 $x = a y$， $dx = a \, dy$，积分限变为 $0 \leq y \leq 1$，概率密度函数变为：

$$p(y) = \frac{2 a y}{a^2} = \frac{2y}{a}$$

因此，微分熵变为：

$$h(X) = -\int_{0}^{1} \frac{2y}{a} \log \left( \frac{2y}{a} \right) \cdot a \, dy$$

$$= -2 \int_{0}^{1} y \log \left( \frac{2y}{a} \right) \, dy$$

$$= -2 \int_{0}^{1} y \left( \log(2y) - \log a \right) \, dy$$

$$= -2 \left( \int_{0}^{1} y \log(2y) \, dy - \log a \int_{0}^{1} y \, dy \right)$$

先计算 $\int_{0}^{1} y \log(2y) \, dy$： 利用分部积分法，设 $u = \log(2y)$， $dv = y \, dy$，则 $du = \frac{1}{y} \, dy$， $v = \frac{y^2}{2}$：

$$\int y \log(2y) \, dy = \frac{y^2}{2} \log(2y) - \int \frac{y^2}{2} \cdot \frac{1}{y} \, dy$$

$$= \frac{y^2}{2} \log(2y) - \frac{1}{2} \int y \, dy$$

$$= \frac{y^2}{2} \log(2y) - \frac{y^2}{4}$$

在区间 $[0, 1]$ 上求定积分：

$$\int_{0}^{1} y \log(2y) \, dy = \left[ \frac{1}{2} \log 2 - \frac{1}{4} \right] - 0 = \frac{\log 2}{2} - \frac{1}{4}$$

再计算 $\int_{0}^{1} y \, dy = \frac{1}{2}$

将结果代入微分熵表达式：

$$h(X) = -2 \left( \frac{\log 2}{2} - \frac{1}{4} - \log a \cdot \frac{1}{2} \right)$$

$$= -2 \left( \frac{\log 2}{2} - \frac{1}{4} - \frac{\log a}{2} \right)$$

$$= -\log 2 + \frac{1}{2} + \log a$$

因此，区间 $[0, a]$ 上概率密度函数 $p(x) = \frac{2x}{a^2}$ 的随机变量的微分熵为：

$$h(X) = \log a - \frac{1}{2}$$