統計學(xué)習方法李航

　　李航的《統計學(xué)習方法》絕對是干貨十足的書(shū)，可惜實(shí)在是太干了，字字珠璣，幾乎每段話(huà)都能當作筆記進(jìn)行整理。讀起來(lái)仿佛在吃加強版的壓縮餅干，雖然能量十足但未免太難吃了。接下來(lái)小編為你帶來(lái)統計學(xué)習方法李航，希望對你有幫助。

　　統計學(xué)習方法的三要素：

　�。�1）模型

　�。�2）策略

　�。�3）算法

　　實(shí)現統計學(xué)習的步驟：

　�。�1）得到用來(lái)訓練模型和測試模型的數據集（輸入和輸出（實(shí)際值）+需要進(jìn)行預測的輸入數據）

　�。�2）確定包含所有可能的模型的假設空間（模型的假設空間就是確定的帶參的函數族，之所以說(shuō)是有無(wú)數個(gè)是因為參數的選取相對來(lái)說(shuō)是任意的），就是學(xué)習模型的集合

　�。�3）確定怎么樣在假設空間中的帶參的無(wú)限多個(gè)函數中間來(lái)選取最終模型的準則（就是說(shuō)應該給予什么約束來(lái)確定最終模型），這種準則就是學(xué)習的策略。

　　一般是用代價(jià)函數最為準則（策略）來(lái)確定最終模型的。代價(jià)函數指的就是帶參的模型的估計值和實(shí)際值之間的差距（一般用以度量的代價(jià)函數就是平方損失，概率估計等），代價(jià)函數的選取就是確定學(xué)習的策略，還要加上規范化項（正則項）來(lái)約束這個(gè)模型（中的權重系數，使得權重系數不至于過(guò)大，因為權重系數過(guò)大可能會(huì )出現模型的過(guò)擬合，過(guò)擬合就是模型在訓練樣本中的估計情況比較好但是在測試樣本中的表現就不行了）

　�。�4）有上述第三步確定了是由代價(jià)函數和規范化項來(lái)約束模型參數的選取的，最優(yōu)模型當然是約束下的代價(jià)函數和規范化項取得最小值時(shí)候的參數了，這里如何求得代價(jià)函數和規范化項的最小值的算法就是學(xué)習的算法了（學(xué)習的意思就是通過(guò)算法求解模型的參數）

　　學(xué)習的算法有梯度下降法，正規矩陣求解等多元函數求導方法

　�。�5）通過(guò)學(xué)習方法（求解系數的算法）來(lái)求解最優(yōu)模型

　�。�6）利用求得的最優(yōu)模型來(lái)對新數據（測試數據或者是需要進(jìn)行預測的數據）進(jìn)行模型的檢驗或者是用模型進(jìn)行預判

　　監督學(xué)習（重點(diǎn)）：具有輸出數據（標簽）（可以根據輸入數據和輸出數據的離散還是連續來(lái)分為分類(lèi)，回歸和標注）

　　無(wú)監督學(xué)習：不具有輸出數據，僅具有輸入數據（一般是聚類(lèi)分析）

　　半監督學(xué)習:由于標簽的成本比較高，只能給一部分的數據進(jìn)行標簽操作。

　　強化學(xué)習：是一種自主學(xué)習的模式

　　監督學(xué)習：將數據集（輸入數據和輸出標簽）通過(guò)統計機器學(xué)習來(lái)得到輸入數據和輸出數據之間的函數映射（不知道的實(shí)際的f是黑盒子，我們要用學(xué)習得到的模型去逼近/近似模擬f黑盒子）關(guān)系，得到這個(gè)模型之后再將這個(gè)模型去應用于其他未知標簽的數據的標簽的預測。

　　監督學(xué)習中的一些基本概念：

　　（1）輸入空間，特征空間和輸出空間

　　輸入空間：輸入變量xi(x1,x2,...)的所有i對應的x的取值構建起來(lái)的集合叫做輸入空間（從形式上來(lái)看輸入空間是矩陣形式的）

　　輸出空間:輸出變量yi的所有可能的情況構建起來(lái)的集合就叫做輸出空間（從形式上來(lái)看輸出空間應該是列向量形式的）

　　輸入空間和輸出空間可以在同一個(gè)空間中，也可以在不同的空間中，通常輸出空間要比輸入空間來(lái)的�。ň褪禽敵龅那闆r比輸入的情況來(lái)的少）

　　特征空間：輸入變量xi(x1,x2,...)中的各個(gè)x1,x2,...來(lái)表征xi，這些x1,x2,...就是輸入變量xi對應的屬性/特征，這些不同的屬性/特征構建起來(lái)的空間就是特征空間（從形式上來(lái)看特征空間是列向量形式的）

　　輸入空間就是在特征空間中的不同取值的集合，列向量（特征空間）的轉置的列向量組合就是輸入空間的矩陣

　　一些約定：

　　1.輸入，輸出變量的所有情況用大寫(xiě)X,Y表示；

　　2.輸入，輸出變量的某一種取值狀況用小寫(xiě)x,y表示；

　　3.變量可以是標量（如輸出變量y）也可以是向量（如輸入向量x）

　　4.xi表示的是輸入空間中的第i個(gè)輸入變量，但是這個(gè)輸入變量是一個(gè)具有多屬性的向量；而x(i)表示的是輸入空間中的第i個(gè)屬性/特征，就是輸入空間的某個(gè)屬性列

　　監督學(xué)習的一些細分：

　　輸入變量x和輸出變量y都是連續的模型叫做回歸分析

　　輸入變量為連續的，輸出變量時(shí)離散的情形叫做分類(lèi)問(wèn)題

　　輸入變量和輸出變量都為離散的叫做標注

　　（2）聯(lián)合概率分布

　　1.什么是概率分布？什么是聯(lián)合概率分布？

　　概率分布p(y|x):指的是練習樣本數據中的一條數據（一個(gè)樣本點(diǎn)）的模型估計和實(shí)際值之間的取值相等的概率（模型在這個(gè)樣本點(diǎn)之上的準確度）

　　概率分布指的就是在一定條件下面出現的不同情況的概率的情況

　　形式有如p(y|x)表示的是在x的情形下發(fā)生y的概率。

　　其中的y|x指的是在隨機變量x（輸入的一個(gè)數據）的情形下面發(fā)生y的概率

　　聯(lián)合概率分布P(Y|X)：指的是練習樣本數據中的所有數據根據模型計算的估計值和實(shí)際值全部相等的概率（練習樣本數據集中所有數據輸入后的估計值和實(shí)際值一樣的概率當然就是所有的單條數據經(jīng)過(guò)模型估計后的估計值和實(shí)際值相等的概率的乘積，當然是將單個(gè)的概率分布做連乘處理，就是采用似然函數來(lái)估計總體的情況）（模型在練習數據集上面的準確度）

　　聯(lián)合概率分布指的是在X的條件下面事件Y發(fā)生的概率。

　　其中的X指的是隨機變量x在輸入空間中的集合，就是在這些輸入空間中的隨機變量共同輸入的情況下事件Y發(fā)生的'概率。

　　似然估計：（總體概率的估計（聯(lián)合概率分布），就是將單個(gè)個(gè)體的概率的估計（概率分布）做連乘處理）

　　由上面可知聯(lián)合概率分布（總體）可以采用似然估計來(lái)將概率分布（個(gè)體）相乘的前提就是各個(gè)個(gè)體服從獨立同分布（各個(gè)個(gè)體是相互獨立的而且這些個(gè)體的概率分布是相同的）

　　獨立同分布：

　　對象是練習數據集中的單條數據

　　因為數據集中的元素（一條條的數據）的數據結構是相同的，所以應該是滿(mǎn)足同分布的，但是這些數據獨立嗎???

　　（3）假設空間

　　假設空間是帶參的模型，是對練習數據集上面的輸入到輸出的映射關(guān)系，假設空間的確定意味著(zhù)模型范圍的確定，就是確定了帶參的函數，接下去的任務(wù)就是計算出最優(yōu)的模型

　　假設空間中帶參的模型函數的建立

　　這個(gè)模型的對象是練習數據集中的樣本點(diǎn)。因此這個(gè)帶參的函數模型如果是概率的話(huà)就是概率分布了

　　學(xué)習的三要素：

　　模型，策略，算法

　　模型就是選取合適的帶參的函數（假設空間），有可能是條件概率分布函數p(y|x)也有可能是決策函數

　�。�1）由決策函數定義的模型叫做非概率模型

　�。�2）由條件概率分布函數定義的模型叫做概率模型。

　　策略就是采取何種約束（規則）來(lái)計算帶參的函數（模型）（代價(jià)函數，規則化項來(lái)制約，代價(jià)函數和規則化項的選取的不同就是策略的不同）（對整體模型的準確性的一種約束，最小二乘法，聯(lián)合概率分布）

　　非概率模型的損失函數一般是平方損失函數（估計值和實(shí)際值之間的差距的平方）：對應于損失最小

　　概率模型的損失函數一般考慮用聯(lián)合概率分布（對條件概率分布函數來(lái)構造似然函數）：對應于聯(lián)合概率分布最大

　　算法就是對策略產(chǎn)生的代價(jià)函數和正則項的綜合函數進(jìn)行最值的計算來(lái)使得這個(gè)模型的參數最優(yōu)化（使得代價(jià)最小或者是模型的估計值和實(shí)際值相等的概率最大），用梯度下降法或者正規矩陣的方法來(lái)計算得到最佳參數。

【統計學(xué)習方法李航】相關(guān)文章：

關(guān)于夏航面試經(jīng)驗11-27

航拍構圖技巧方法08-12

航拍方法技巧流程11-13

無(wú)人機航拍影視技巧10-08

影視制作的航拍要求10-06

機場(chǎng)助航燈基本知識08-14

基于統計學(xué)的李賀詩(shī)歌色彩詞的語(yǔ)言學(xué)分析08-05

影視制作中的航拍技巧10-07

航拍方法技巧及注意事項11-07

航材資源管理論文10-08