假设我们有一个来自感兴趣人群的随机样本。我们可能有一个关于人口分布方式的理论模型。但是，可能有几个总体参数的值我们不知道。最大似然估计是确定这些未知参数的一种方法。

最大似然估计的基本思想是确定这些未知参数的值。我们这样做是为了最大化相关联的联合概率密度函数或概率质量函数。我们将在下文中更详细地了解这一点。然后我们将计算一些最大似然估计的例子。

最大似然估计的步骤

上述讨论可通过以下步骤进行总结：

1. 从独立随机变量X1、X2……的样本开始。Xn来自公共分布，每个分布具有概率密度函数f（x；θ1，…θk）。θ是未知参数。
2. 由于我们的样本是独立的，我们观察到的特定样本的获得概率是通过将我们的概率相乘得到的。这给了我们一个似然函数L（θ1，…θk）=f（x1；θ1，…θk）f（x2；θ1，…θk）。f（xn；Th 1，……Th）= f f（席；Th 1，……k）。
3. 接下来，我们使用微积分来找到使似然函数L最大化的θ值。
4. 更具体地说，如果只有一个参数，我们将区分似然函数L与θ的关系。如果有多个参数，我们计算L对每个θ参数的偏导数。
5. 要继续最大化过程，请将L的导数（或偏导数）设置为零，然后求解θ。
6. 然后，我们可以使用其他技术（如二阶导数测试）来验证我们已经找到了似然函数的最大值。

实例

假设我们有一包种子，每个种子都有一个恒定的成功发芽概率p。我们种植其中的n株，并计算发芽的数量。假设每个种子独立于其他种子发芽。我们如何确定参数p的最大似然估计？

我们首先注意到，每个种子都是由伯努利分布建模的，p。设X为0或1，单个种子的概率质量函数为f（X；p）=px（1-p）1-X。

我们的样本由n个不同的席，每个都有伯努利分布。发芽的种子有席＝1，不发芽的种子有席＝0。

似然函数由下式给出：

L（p）＝pXi（1—p）1—席席

我们看到，利用指数定律重写似然函数是可能的。

L（p）＝p（1）p（n）-席席

接下来，我们区分这个函数与p的关系。我们假设所有的席的值都是已知的，因此是常数。为了区分似然函数，我们需要使用乘积规则和幂律：

席夫席（席）1+Xi（1- p）n-席-（n-（x））p席西（1—p）n-1—x

我们重写了一些负指数，并得出：

席夫席席（XP）＝（1／p），XIP（X-P）Xi（1 -p）n-εX- 1／（1 -p）（n-席Xi）p席西（1 -P）n-西

=（1／p）席席1／（1—P）（n－Ⅱ席）] IP席西（1—P）n -西

现在，为了继续最大化过程，我们将此导数设为零，然后求解p：

0＝[（1／p）席席1／（1－p）（n－x席）] ip席西（1—P）n -西

因为p和（1-p）是非零的，所以我们有

0＝（1／p），席- 1／（1－p）（n－x席）。

将方程的两边乘以p（1-p）得到：

0＝（1—p）席-P（n－x席）。

我们展开右侧，看到：

0＝席席P席席-P n+p＝Xi＝Xi-P n。

因此，Xi＝P n和（1／N）席席胡＝P。这意味着p的最大似然估计是一个样本均值。更具体地说，这是发芽种子的样本比例。这完全符合直觉告诉我们的。为了确定种子发芽的比例，首先考虑来自感兴趣群体的样本。

对步骤的修改

以上步骤列表有一些修改。例如，如上所述，通常值得花一些时间使用一些代数来简化似然函数的表达式。这样做的原因是为了便于进行区分。

对上述步骤列表的另一个改变是考虑自然对数。函数L的最大值将出现在与L的自然对数相同的点上。因此，最大化ln L相当于最大化函数L。

很多时候，由于L中存在指数函数，取L的自然对数将大大简化我们的一些工作。

实例

我们通过回顾上面的例子来了解如何使用自然对数。我们从似然函数开始：

L（p）＝P（席）席（1—P）N-XI。

然后我们使用对数定律，看到：

R（p）＝Ln L（p）＝Xi-Ln P+（n-席席）Ln（1 -p）。

我们已经看到，导数更容易计算：

R′（p）＝（1／p）席席1／（1—p）（n-εXi）。

现在，和以前一样，我们将这个导数设为零，然后将两边乘以p（1-p）：

0＝（1—p）席-P（n－x席）。

我们求解p，得到和以前相同的结果。

使用L（p）的自然对数在另一方面是有帮助的。计算R（p）的二阶导数更容易，以验证我们确实在点（1／n）席席＝P上有最大值。

实例

例如，假设我们有一个随机样本X1，X2。Xn来自我们用指数分布建模的种群。一个随机变量的概率密度函数的形式为f（x）=θ-1e-x/θ

似然函数由联合概率密度函数给出。这是几个密度函数的乘积：

L（θ）=∏θ-1e-xi/θ=θ-ne-∑xi/θ

再次，考虑似然函数的自然对数是有帮助的。区分这一点比区分似然函数需要更少的工作：

R（θ）=lnl（θ）=ln[θ-ne-∑xi/θ]

我们使用对数定律得出：

R（θ）=lnl（θ）=-n lnθ+∑xi/θ

我们根据θ进行区分，并得出：

R'（θ）=-n/θ+∑xi/θ2

将此导数设为零，我们可以看到：

0=-n/θ+∑xi/θ2。

将两边乘以θ2，结果为：

0＝-n个th+＋席。

现在使用代数求解θ：

（= 1／n）席。

从中我们可以看出，样本均值是使似然函数最大化的。适合我们模型的参数θ应该是我们所有观测值的平均值。

连接

还有其他类型的估计量。另一种类型的估计称为无偏估计。对于这种类型，我们必须计算统计数据的期望值，并确定它是否与相应的参数匹配。