对于整数(n)的阶乘,我们有(n!=n imes (n-1)... imes1)。
对于实数(x)的阶乘,计算公式为:
[Gamma(x)=int_0^infty t^{x-1}e^{-t},dt]性质如下:
(Gamma(x+1)=xGamma(x))当x为正整数时有:(Gamma(x)=(x-1)!)(Gamma(1)=1, Gamma(0.5)=sqrtpi)Gamma分布将Gamma函数标准化可以得到:
[int_0^infty frac{t^{alpha-1}e^{-t}}{Gamma(alpha)},dt = 1]这就是简单的Gamma分布:
[Gamma(t|alpha)=frac{t^{alpha-1}e^{-t}}{Gamma(alpha)}]此时做(t=eta x):
[int_0^infty frac{(eta x)^{alpha-1}e^{-eta x}}{Gamma(alpha)},d(eta x) = 1]就可以得到Gamma分布的一般形式:
[Gamma(t|alpha,eta)=frac{eta^alpha x^{alpha-1}e^{-eta x}}{Gamma(alpha)}]其中(alpha)为形状参数(shape parameter),决定了分布曲线的形状;(eta)为逆尺度参数(inverse scale parameter),决定曲线有多陡。
当(alpha = k+1, eta = 1)时:
[Gamma(x)=frac{x^ke^{-x}}{Gamma(k+1)}=frac{x^ke^{-x}}{k!}]这正是泊松分布的分布函数。由此看来Gamma分布是泊松分布在实数域上的扩展。
共轭分布(Conjugate distribution)在贝叶斯理论中,后验分布如下计算:
[g( heta|x)=frac{g( heta)f(x; heta)}{f(x)}=c_xL( heta,x)g( heta)](f(x))表示观察样本的边缘密度(marginal density),是只关于变量(x)的概率分布,不考虑其他变量。(f(x; heta)=L( heta,x))是似然函数(样本的分布)(likelihood or sampling distribution),(g( heta))是其先验分布。
其中:
[c_x^{-1}=f(x)\f(x)=int f(x; heta)g( heta),d heta]此公式解释了边缘密度,可以理解为( heta)取某一值时,我们得到观察值样本的概率的积分。
当(g( heta))与(g( heta|x))的形式相同时,我们说这是共轭分布,(g( heta))为共轭先验。(没有共轭后验的说法)
为何使用共轭先验?
可以使得先验分布和后验分布的形式相同,这样一方面合符人的直观(它们应该是相同形式的)另外一方面是可以形成一个先验链,即现在的后验分布可以作为下一次计算的先验分布,如果形式相同,就可以形成一个链条。
为什么没有共扼后验?
如果先验分布和似然函数可以使得先验分布和后验分布(posterior distributions)有相同的形式,那么就称先验分布与似然函数是共轭的。所以,共轭是指的先验分布(prior probability distribution)和似然函数(likelihood function)。如果某个随机变量Θ的后验概率 p(θ|x)和气先验概率p(θ)属于同一个分布簇的,那么称p(θ|x)和p(θ)为共轭分布,同时,也称p(θ)为似然函数p(x|θ)的共轭先验。
可以看到二项分布的共轭先验分布为Beta分布。
参考Gamma函数深入理解
理解Gamma分布、Beta分布与Dirichlet分布
共轭先验、共轭分布——为LDA做准备