【机器学习前置知识】二项分布

二项分布

在概率论和统计学里，二项分布表示的是 N次独立试验中成功次数 的概率分布。其中的每次独立试验又可称为伯努利试验，伯努利试验是这样的：在每次独立试验中，结果只有成功或失败两种情况，其中成功的概率为 $p$ ， $p\in [0,1]$ ，失败的概率为 $q=1?p$ 。

二项分布其实是伯努利分布的扩展，当n=1时，二项分布等价于伯努利分布。二项分布也常用于对N次 有放回 抽样进行建模。

更直观点来说，以抛硬币为例，抛一次硬币会有正面和反面两种结果，这里把出现正面作为实验成功的结果，对于质地均匀的硬币，出现正面和反面的概率应该都是0.5，即 $p=0.5$ ，$q=0.5$ 。

假设我们对这枚硬币进行了3次独立实验，现在我们想分别统计在这三次实验中正面出现0次、1次、2次与3次的概率，这其实就是二项分布能解决的问题。

掷3次硬币，所有可能出现的结果有8种：正正正、正正反、正反正、正反反、反正正、反正反、反反正、反反反 ，其中每种结果出现的概率均为 0.5??0.5??0.5=0.125。

我们可以计算出：

• 正面出现0次的结果在8种结果中有1种，概率为 $p^0{q}^3$??$C_3^0$ = 0.125??1 = 0.125
• 正面出现1次的结果在8种结果中有3种，概率为 $p^1{q}^2$??$C_3^1$ = 0.125??3 = 0.375
• 正面出现2次的结果在8种结果中有3种，概率为 $p^2{q}^1$??$C_3^2$ = 0.125??3 = 0.375
• 正面出现3次的结果在8种结果中有1种，概率为 $p^3{q}^0$??$C_3^3$ = 0.125??1 = 0.125

由上面计算结果可以总结出概率 $Bin(k,n,p)=C_n^k{p}^k(1?p{)}^{n?k}$

其中，$n$ 表示抛硬币总次数； $p$ 表示正面出现的概率； $k$ 表示 $n$ 次中出现正面的次数；$Bin(k,n,p)$ 表示 $n$ 次中出现 $k$ 次正面的概率，这也是一般二项分布概率质量函数(PMF)的数学表示。

由此可以引出二项分布的公式。设 $n$ 是一个正整数，并设 $p\in [0,1]$ 。如果随机变量 $X$ 满足：

$P(X=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1?p{)}^{n?k},k=0,1,...,n$ ，其中 $\left(\genfrac{}{}{0ex}{}{n}{k}\right)=C_n^k=\frac{n!}{k!(n?k)!}$

那么称 $X$ 服从参数为 $n$ 和 $p$ 的二项分布，记作 $X$~$Bin(n,p)$ ，$X$ 的均值为 $np$ ，方差为 $np(1?p)$ 。