EDA及其應用

　　所謂探索性數據分析(Exploratory Data Analysis，以下簡(jiǎn)稱(chēng)EDA)，是指對已有的數據(特別是調查或觀(guān)察得來(lái)的原始數據)在盡量少的先驗假定下進(jìn)行探索，通過(guò)作圖、制表、方程擬合、計算特征量等手段探索數據的結構和規律的一種數據分析方法。特別是當我們對這些數據中的信息沒(méi)有足夠的經(jīng)驗，不知道該用何種傳統統計方法進(jìn)行分析時(shí)，探索性數據分析就會(huì )非常有效。探索性數據分析在上世紀六十年代被提出，其方法由美國著(zhù)名統計學(xué)家約翰·圖基(John Tukey)命名。

　　EDA的出現主要是在對數據進(jìn)行初步分析時(shí)，往往還無(wú)法進(jìn)行常規的統計分析。這時(shí)候，如果分析者先對數據進(jìn)行探索性分析，辨析數據的模式與特點(diǎn)，并把它們有序地發(fā)掘出來(lái)，就能夠靈活地選擇和調整合適的分析模型，并揭示數據相對于常見(jiàn)模型的種種偏離。在此基礎上再采用以顯著(zhù)性檢驗和置信區間估計為主的統計分析技術(shù)，就可以科學(xué)地評估所觀(guān)察到的模式或效應的具體情況。

　　所以概括起來(lái)說(shuō)，分析數據可以分為探索和驗證兩個(gè)階段。探索階段強調靈活探求線(xiàn)索和證據，發(fā)現數據中隱藏的有價(jià)值的信息，而驗證階段則著(zhù)重評估這些證據，相對精確地研究一些具體情況。在驗證階段，常用的主要方法是傳統的統計學(xué)方法，在探索階段，主要的方法就是EDA，下面我們重點(diǎn)對EDA做進(jìn)一步的說(shuō)明。

　　EDA的特點(diǎn)有三個(gè)：一是在分析思路上讓數據說(shuō)話(huà)，不強調對數據的整理。傳統統計方法通常是先假定一個(gè)模型，例如數據服從某個(gè)分布(特別常見(jiàn)的是正態(tài)分布)，然后使用適合此模型的方法進(jìn)行擬合、分析及預測。但實(shí)際上，多數數據(尤其是實(shí)驗數據)并不能保證滿(mǎn)足假定的理論分布。因此，傳統方法的統計結果常常并不令人滿(mǎn)意，使用上受到很大的局限。EDA則可以從原始數據出發(fā)，深入探索數據的內在規律，而不是從某種假定出發(fā)，套用理論結論，拘泥于模型的假設。

　　二是EDA分析方法靈活，而不是拘泥于傳統的統計方法。傳統的統計方法以概率論為基礎，使用有嚴格理論依據的假設檢驗、置信區間等處理工具。EDA處理數據的方式則靈活多樣，分析方法的選擇完全從數據出發(fā)，靈活對待，靈活處理，什么方法可以達到探索和發(fā)現的目的就使用什么方法。這里特別強調的是EDA更看重的是方法的穩健性、耐抗性，而不刻意追求概率意義上的精確性。

　　三是EDA分析工具簡(jiǎn)單直觀(guān)，更易于普及。傳統的統計方法都比較抽象和深奧，一般人難于掌握，EDA則更強調直觀(guān)及數據可視化，更強調方法的多樣性及靈活性，使分析者能一目了然地看出數據數據中隱含的有價(jià)值的信息，顯示出其遵循的普遍規律及與眾不同的突出特點(diǎn)，促進(jìn)發(fā)現規律，得到啟迪，滿(mǎn)足分析者的多方面要求，這也是EDA對于數據分析的的主要貢獻。

　　值得一提的是，正因為EDA更強調直觀(guān)及圖形顯示,所以它采用了很多創(chuàng )新的可視化技術(shù)，目前這些可視化技術(shù)已經(jīng)有了很好的實(shí)現載體，目前最為主流的探索性數據分析軟件是以圖形效果好、交互性強、易學(xué)易用著(zhù)稱(chēng)的統計發(fā)現軟件JMP。即使不具備統計學(xué)基礎的分析者也能在JMP的幫助下，輕松地發(fā)現數據、擬合以及殘差的規律，獲得意想不到的發(fā)現，為后續的分析啟發(fā)思路、指明方向。

　　下面，用一個(gè)典型的小案例來(lái)說(shuō)明EDA的實(shí)際應用。

　　我們?yōu)榱藢θ�球�?jīng)濟的發(fā)展趨勢和世界頂級公司的經(jīng)營(yíng)狀況做一些研究，可以從公共網(wǎng)站上下載數據(如福布斯2000強名單)，用JMP略作整理之后可以得到如表一所示的數據表，其中包含了上榜公司的名稱(chēng)、所屬行業(yè)、所屬?lài)�家、上榜年份、上榜排名、市�?chǎng)價(jià)值、資產(chǎn)額、銷(xiāo)售額、利潤額等9個(gè)變量，總計14000條記錄(每年2000條，從2004年至2010年共7個(gè)年度)�，F在的問(wèn)題是：數據有了，其中到底隱藏著(zhù)怎樣的有價(jià)值的信息呢?我們又如何發(fā)現這些信息呢?

　　有人說(shuō)：既然是連續型數據，又包含時(shí)間變量，應該用時(shí)間序列方法進(jìn)行分析!的確，時(shí)間序列可以告訴我們變量隨時(shí)間變化的趨勢，然而實(shí)際中我們所希望和可以得到的有價(jià)值的信息，往往遠不止“趨勢”這么簡(jiǎn)單，更何況，需要分析這些商業(yè)數據的用戶(hù)常常并不清楚什么是“時(shí)間序列分析”方法。

　　還有人說(shuō)：用一些傳統的圖形工具，比如折線(xiàn)圖、柱狀圖、餅圖等等來(lái)分析，不就可以進(jìn)行數據探索了嗎?這種方法似乎是可行的，但這些數據中有不少類(lèi)別變量，他們的分類(lèi)水平很多(例如年份跨越7年，行業(yè)分為30個(gè)，國家有75個(gè)之多，公司名稱(chēng)更是多達3505個(gè))，這樣一來(lái)，光作圖可能就讓我們筋疲力盡了，“數據探索”又從何談起?

　　什么方法才能很好地探索這些數據，從中發(fā)現我們所期望的、甚至意想不到的重要信息呢?我們應該從哪里著(zhù)手分析才能找到這些信息呢?我們來(lái)嘗試運用現代EDA中的可視化技術(shù)“泡泡圖”來(lái)邊看邊想。在JMP軟件的幫助下，我們可以很快得到類(lèi)似圖一的圖形，其中的橫軸代表公司的市值，縱軸代表公司的銷(xiāo)售額，泡泡的大小代表公司的利潤額，泡泡的顏色代表公司所屬的行業(yè)。最有意義的是，所有的泡泡并不是靜止不動(dòng)的，它們的位置、大小等都會(huì )隨著(zhù)年度的變化而動(dòng)態(tài)變化。與此同時(shí)，整個(gè)變化的歷史軌跡線(xiàn)也會(huì )在圖中顯示出來(lái)。

　　這樣一來(lái)，我們就可以直觀(guān)地發(fā)現一些明顯的數據特征。就拿圖中標識出來(lái)的兩家知名公司來(lái)說(shuō)。我們會(huì )發(fā)現通用電氣General Electric的經(jīng)營(yíng)業(yè)績(jì)比較穩定，而�？松�美孚Exxon Mobil就相對顯得大起大落一些。雖然兩者有明顯不同，但自2008年起，市場(chǎng)駕駛均有顯著(zhù)的回落，這應當與當時(shí)席卷全球的經(jīng)濟危機有關(guān)。

　　有人在發(fā)現這些特征后會(huì )迸出一些新的想法：通用電氣、�？松�美孚都是美國的企業(yè)，中國企業(yè)的表現又如何的呢?我們可以在使用“泡泡圖”的同時(shí)，在JMP中調用“數據篩選”功能就可以得到類(lèi)似圖三的界面。

　　從中可以清晰地觀(guān)察到，自2004年以來(lái)的7年間，共有392個(gè)次的中國企業(yè)登上了福布斯排行榜。雖然在數量上、市值、銷(xiāo)售額等經(jīng)營(yíng)指標上與世界頂級企業(yè)有一定差距，但以中石油Petro China、中石化Sinopec China Petroleum等位代表的一批國有大型企業(yè)發(fā)展速度很快，令世界矚目。

　　實(shí)際上，探索性數據分析還遠遠不止這些。分析人士完全可以在數據分析的初期不受太多理論條件的束縛，充分展開(kāi)想象的翅膀，多角度、多層面地對現有數據的規律進(jìn)行可視化的探索，新的線(xiàn)索往往就會(huì )自然而然地出現了，為下一步的統計建模與預測等精細化分析奠定良好的基礎。

　　總之，探索性數據分析強調靈活地探求線(xiàn)索和證據，重在發(fā)現數據中可能隱藏著(zhù)的有價(jià)值的信息，比如數據的分布模式、變化趨勢，可能的交互影響，異常變化等等，而傳統的統計方法則側重于評估已經(jīng)發(fā)現的證據，通常要求分析人員具備一定的統計學(xué)基礎。根據不同的業(yè)務(wù)目的和數據資源選用不同的技術(shù)，或者綜合使用這兩類(lèi)技術(shù)，將會(huì )使我們更快地獲得更多的發(fā)現。對于大都不具備統計學(xué)功底但數據分析任務(wù)卻越來(lái)越多的企業(yè)人員(如市場(chǎng)分析人員、質(zhì)量管理人員等)來(lái)說(shuō)，重視、學(xué)習并用好探索性數據分析往往能事半功倍。

【EDA及其應用】相關(guān)文章：

EDA技術(shù)與應用09-19

EDA技術(shù)的發(fā)展與應用09-13

EDA技術(shù)應用與發(fā)展09-11

關(guān)于EDA技術(shù)的發(fā)展與應用08-05

EDA的應用及發(fā)展趨勢05-14

2016年EDA技術(shù)的發(fā)展與應用08-15

EDA技術(shù)與應用課后習題答案08-10

EDA技術(shù)的應用及發(fā)展趨勢09-12

eda技術(shù)在生活中的應用10-30

EDA技術(shù)與應用課后習題答案大全09-27