最大似然估计

最大似然估计是寻找参数使得似然函数(似然函数)最大的过程。通过最大化样本数据的尤度来估计总体参数。基本思想是找到使得样本数据出现的概率最大的参数值。它通常具有良好的统计性质，如一致性和渐近正态性，且在大样本下往往是最有效的估计量。

步骤

1. 构建似然函数：根据给定的概率分布，写出样本数据的联合概率密度函数或概率质量函数。
2. 取对数：对似然函数取自然对数，得到对数似然函数, 这样求解往往比较方便。
3. 求导数并求解：对对数似然函数求导数，找到使导数为零的参数值。

公式

假设样本数据 $X_1, X_2, \ldots, X_n$ 来自参数为 $\theta$ 的分布，其似然函数为 $L(\theta; X_1, X_2, \ldots, X_n)$，则对数似然函数为：

$$\ln L(\theta) = \sum_{i=1}^{n} \ln f(X_i; \theta)$$

通过求导并解方程，可以找到参数的最大似然估计值 $\hat{\theta}$。