對(duì)于深度學(xué)習(xí)和機(jī)器學(xué)習(xí)工程師們來(lái)說(shuō)，正態(tài)分布是世界上所有概率模型中最重要的一個(gè)。即使你沒(méi)有參與過(guò)任何人工智能項(xiàng)目，也一定遇到過(guò)高斯模型，今天就讓我們來(lái)看看高斯過(guò)程為什么這么受歡迎。

高斯分布(Gaussian distribution)，也稱正態(tài)分布，最早由A.棣莫弗在求二項(xiàng)分布的漸近公式中得到。C.F.高斯在研究測(cè)量誤差時(shí)從另一個(gè)角度導(dǎo)出了它。P.S.拉普拉斯和高斯研究了它的性質(zhì)。是一個(gè)在數(shù)學(xué)、物理及工程等領(lǐng)域都非常重要的概率分布，在統(tǒng)計(jì)學(xué)的許多方面有著重大的影響力。

正態(tài)曲線呈鐘型，兩頭低，中間高，左右對(duì)稱因其曲線呈鐘形，因此人們又經(jīng)常稱之為鐘形曲線。

 

 

若隨機(jī)變量X服從一個(gè)數(shù)學(xué)期望為μ、方差為σ^2的正態(tài)分布，記為N(μ，σ^2)。其概率密度函數(shù)為正態(tài)分布的期望值μ決定了其位置，其標(biāo)準(zhǔn)差σ決定了分布的幅度。當(dāng)μ = 0,σ = 1時(shí)的正態(tài)分布是標(biāo)準(zhǔn)正態(tài)分布。

 

 

高斯概率分布的數(shù)學(xué)表達(dá)式

在自然現(xiàn)象中隨處可見(jiàn)

所有模型都是錯(cuò)的，但有些是有用的

—George Box

 

 

正在擴(kuò)散的粒子的位置可以用正態(tài)分布來(lái)描述

正態(tài)分布有極其廣泛的實(shí)際背景，生產(chǎn)與科學(xué)實(shí)驗(yàn)中很多隨機(jī)變量的概率分布都可以近似地用正態(tài)分布來(lái)描述。例如，在生產(chǎn)條件不變的情況下，產(chǎn)品的強(qiáng)力、抗壓強(qiáng)度、口徑、長(zhǎng)度等指標(biāo);同一種生物體的身長(zhǎng)、體重等指標(biāo);同一種種子的重量;測(cè)量同一物體的誤差;彈著點(diǎn)沿某一方向的偏差;某個(gè)地區(qū)的年降水量;以及理想氣體分子的速度分量，等等。

一般來(lái)說(shuō)，如果一個(gè)量是由許多微小的獨(dú)立隨機(jī)因素影響的結(jié)果，那么就可以認(rèn)為這個(gè)量具有正態(tài)分布。從理論上看，正態(tài)分布具有很多良好的性質(zhì)，許多概率分布可以用它來(lái)近似;還有一些常用的概率分布是由它直接導(dǎo)出的，例如對(duì)數(shù)正態(tài)分布、t分布、F分布等。

數(shù)學(xué)原因：中心極限定理

 

 

二維空間上進(jìn)行200萬(wàn)步的隨機(jī)游走之后得到的圖案

中心極限定理的內(nèi)容為：大量獨(dú)立隨機(jī)變量的和經(jīng)過(guò)適當(dāng)標(biāo)準(zhǔn)化之后趨近于正態(tài)分布，與這些變量原本的分布無(wú)關(guān)。比如，隨機(jī)游走的總距離就趨近于正態(tài)分布。下面我們介紹三種形式的中心極限定理：

獨(dú)立同分布的中心極限定理

設(shè)隨機(jī)變量X1，X2，......Xn，......獨(dú)立同分布，并且具有有限的數(shù)學(xué)期望和方差：E(Xi)=μ，D(Xi)=σ^2 (i=1,2....)，則對(duì)任意x，分布函數(shù)為

 

 

該定理說(shuō)明，當(dāng)n很大時(shí)，隨機(jī)變量近似地服從標(biāo)準(zhǔn)正態(tài)分布N(0，1)。因此，當(dāng)n很大時(shí)，近似地服從正態(tài)分布N(nμ，nσ^2).該定理是中心極限定理最簡(jiǎn)單又最常用的一種形式，在實(shí)際工作中，只要n足夠大，便可以把獨(dú)立同分布的隨機(jī)變量之和當(dāng)作正態(tài)變量。這種方法在數(shù)理統(tǒng)計(jì)中用得很普遍，當(dāng)處理大樣本時(shí)，它是重要工具。

 

棣莫佛-拉普拉斯定理

設(shè)隨機(jī)變量X(n=1,2,...,)服從參數(shù)為n，p(0

 

 

該定理表明，正態(tài)分布是二項(xiàng)分布的極限分布，當(dāng)數(shù)充分大時(shí)，我們可以利用上式來(lái)計(jì)算二項(xiàng)分布的概率。

不同分布的中心極限定理

設(shè)隨機(jī)變量X1，X2，......Xn，......獨(dú)立同分布，它們的概率密度分別為fxk(x)，并有E(Xk)=μk，D(Xk)= σk^2，(k=1,2......)

 

 

若對(duì)任意正數(shù)τ，有：

 

 

對(duì)任意x，隨機(jī)變量Yn的分布函數(shù)Fn(x)，滿足：

 

該定理說(shuō)明：所研究的隨機(jī)變量如果是有大量獨(dú)立的而且均勻的隨機(jī)變量相加而成，那么它的分布將近似于正態(tài)分布。

萬(wàn)變不離其宗

與其他很多分布不同，正態(tài)分布進(jìn)行適當(dāng)?shù)淖儞Q之后，仍是正態(tài)分布。

兩個(gè)正態(tài)分布之積仍是正態(tài)分布

兩個(gè)獨(dú)立的服從正態(tài)分布的隨機(jī)變量之和服從正態(tài)分布

對(duì)一個(gè)正態(tài)分布進(jìn)行高斯卷積還是正態(tài)分布

正態(tài)分布經(jīng)過(guò)傅立葉變換之后仍是正態(tài)分布

簡(jiǎn)潔

 

 

奧卡姆剃刀強(qiáng)調(diào)一個(gè)哲學(xué)原則：在其他條件都相同下，最簡(jiǎn)單的解就是最好的解。

對(duì)于任何一個(gè)用正態(tài)分布擬合的隨機(jī)分布，都可能存在一個(gè)多參數(shù)，更復(fù)雜，更準(zhǔn)確的解法。但是我們?nèi)匀粫?huì)傾向于選用正態(tài)分布，因?yàn)樗�在�?shù)學(xué)上很簡(jiǎn)潔。

它的均值(mean)、中值(median)和眾數(shù)(mode)都相同

只需要用兩個(gè)參數(shù)就可以確定整個(gè)分布

圖形特性：

集中性：正態(tài)曲線的高峰位于正中央，即均數(shù)所在的位置。

對(duì)稱性：正態(tài)曲線以均數(shù)為中心，左右對(duì)稱，曲線兩端永遠(yuǎn)不與橫軸相交。

均勻變動(dòng)性：正態(tài)曲線由均數(shù)所在處開(kāi)始，分別向左右兩側(cè)逐漸均勻下降。

曲線與橫軸間的面積總等于1，相當(dāng)于概率密度函數(shù)的函數(shù)從正無(wú)窮到負(fù)無(wú)窮積分的概率為1。即頻率的總和為100%。

相關(guān)報(bào)道：

https://towardsdatascience.com/why-data-scientists-love-gaussian-6e7a7b726859

標(biāo)簽：

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。