- 相關(guān)推薦
數據分析中要注意的統計學(xué)問(wèn)題
數據分析是一門(mén)數學(xué)類(lèi)的學(xué)科。數據分析中涉及的統計問(wèn)題有很多。下面是小編為大家帶來(lái)的數據分析中要注意的統計學(xué)問(wèn)題。歡迎閱讀。
一、均值的計算
在處理數據時(shí),經(jīng)常會(huì )遇到對相同采樣或相同實(shí)驗條件下同一隨機變量的多個(gè)不同取值進(jìn)行統計處理的問(wèn)題。此時(shí),往往我們會(huì )不假思索地直接給出算術(shù)平均值和標準差。顯然,這種做法是不嚴謹的。
這是因為作為描述隨機變量總體大小特征的統計量有算術(shù)平均值、幾何平均值和中位數等多個(gè)。至于該采用哪種均值,不能根據主觀(guān)意愿隨意確定,而要根據隨機變量的分布特征確定。
反映隨機變量總體大小特征的統計量是數學(xué)期望,而在隨機變量的分布服從正態(tài)分布時(shí),其數學(xué)期望就是其算術(shù)平均值。此時(shí),可用算術(shù)平均值描述隨機變量的大小特征;如果所研究的隨機變量不服從正態(tài)分布,則算術(shù)平均值不能準確反映該變量的大小特征。在這種情況下,可通過(guò)假設檢驗來(lái)判斷隨機變量是否服從對數正態(tài)分布。如果服從對數正態(tài)分布,則幾何平均值就是數學(xué)期望的值。此時(shí),就可以計算變量的幾何平均值;如果隨機變量既不服從正態(tài)分布也不服從對數正態(tài)分布,則按現有的數理統計學(xué)知識,尚無(wú)合適的統計量描述該變量的大小特征。此時(shí),可用中位數來(lái)描述變量的大小特征。
因此,我們不能在處理數據的時(shí)候一律采用算術(shù)平均值,而是要視數據的分布情況而定。
二、直線(xiàn)相關(guān)與回歸分析
這兩種分析,說(shuō)明的問(wèn)題是不同的,既相互又聯(lián)系。在做實(shí)際分析的時(shí)候,應先做變量的散點(diǎn)圖,確認由線(xiàn)性趨勢后再進(jìn)行統計分析。一般先做相關(guān)分析,只有在相關(guān)分析有統計學(xué)意義的前提下,求回歸方程才有實(shí)際意義。一般來(lái)講,有這么兩個(gè)問(wèn)題值得注意:
一定要把回歸和相關(guān)的概念搞清楚,要做回歸分析時(shí),不需要報告相關(guān)系數;做相關(guān)分析的時(shí)候,不需要計算回歸方程。
相關(guān)分析中,只有對相關(guān)系數進(jìn)行統計檢驗(如t檢驗),P<0.05時(shí),才能一依據r值的大小來(lái)說(shuō)明兩個(gè)變量的相關(guān)程度。必須注意的是,不能將相關(guān)系數的假設檢驗誤認為是相關(guān)程度的大小。舉個(gè)例子:當樣本數量很小,即使r值較大(如3對數據,r=0.9),也可能得出p>0.05這種無(wú)統計學(xué)意義的結論;而當樣本量很大,如500,即使r=0.1,也會(huì )有P<0.05的結果,但這種相關(guān)卻不具有實(shí)際意義。因此,要表明相關(guān)性,除了要寫(xiě)出r值外,還應該注明假設檢驗的P值。
三、相關(guān)分析和回歸分析之間的區別
相關(guān)分析和回歸分析是極為常用的2種數理統計方法,在環(huán)境科學(xué)及其它研究領(lǐng)域有著(zhù)廣泛的用途。然而,由于這2種數理統計方法在計算方面存在很多相似之處,因此在應用中我們很容易將二者混淆。
最常見(jiàn)的錯誤是,用回歸分析的結果解釋相關(guān)性問(wèn)題。例如,將“回歸直線(xiàn)(曲線(xiàn))圖”稱(chēng)為“相關(guān)性圖”或“相關(guān)關(guān)系圖”;將回歸直線(xiàn)的R2(擬合度,或稱(chēng)“可決系數”)錯誤地稱(chēng)為“相關(guān)系數”或“相關(guān)系數的平方”;根據回歸分析的結果宣稱(chēng)2個(gè)變量之間存在正的或負的相關(guān)關(guān)系。
相關(guān)分析與回歸分析均為研究2個(gè)或多個(gè)變量間關(guān)聯(lián)性的方法,但2種方法存在本質(zhì)的差別。相關(guān)分析的目的在于檢驗兩個(gè)隨機變量的共變趨勢(即共同變化的程度),回歸分析的目的則在于試圖用自變量來(lái)預測因變量的值。
實(shí)際上在相關(guān)分析中,兩個(gè)變量必須都是隨機變量,如果其中的一個(gè)變量不是隨機變量,就不能進(jìn)行相關(guān)分析。而回歸分析中,因變量肯定為隨機變量,而自變量則可以是普通變量(有確定的取值)也可以是隨機變量。
很顯然,當自變量為普通變量的時(shí)候,這個(gè)時(shí)候你根本不可能回答相關(guān)性的問(wèn)題;當兩個(gè)變量均為隨機變量的時(shí)候,鑒于兩個(gè)隨機變量客觀(guān)上存在“相關(guān)性”問(wèn)題,只是由于回歸分析方法本身不能提供針對自變量和因變量之間相關(guān)關(guān)系的準確的檢驗手段,因此這又回到了問(wèn)題二中所講的,如果你要以預測為目的,就不要提相關(guān)系數;當你以探索兩者的“共變趨勢”為目的,就不要提回歸方程。
回歸分析中的R2在數學(xué)上恰好是Pearson積矩相關(guān)系數r的平方。因此我們不能錯誤地理解R2的含義,認為R2就是 “相關(guān)系數”或“相關(guān)系數的平方”。這是因為,對于自變量是普通變量的時(shí)候,2個(gè)變量之間的“相關(guān)性”概念根本不存在,又談什么“相關(guān)系數”呢?
四、相關(guān)分析中的問(wèn)題
相關(guān)分析中,我們很容易犯這么一個(gè)錯誤,那就是不考慮兩個(gè)隨機變量的分布,直接采用Pearson 積矩相關(guān)系數描述這2個(gè)隨機變量間的相關(guān)關(guān)系(此時(shí)描述的是線(xiàn)性相關(guān)關(guān)系)。
關(guān)于相關(guān)系數,除有Pearson 積矩相關(guān)系數外,還有Spearman秩相關(guān)系數和Kendall秩相關(guān)系數等。其中,Pearson積矩相關(guān)系數可用于描述2個(gè)隨機變量的線(xiàn)性相關(guān)程度,Spearman或Kendall秩相關(guān)系數用來(lái)判斷兩個(gè)隨機變量在二維和多維空間中是否具有某種共變趨勢。
因此我們必須注意的是,Pearson 積矩相關(guān)系數的選擇是由前提的,那就是2個(gè)隨機變量均服從正態(tài)分布假設。如果數據不服從正態(tài)分布,則不能計算Pearson 積矩相關(guān)系數,這個(gè)時(shí)候,我們就因該選擇Spearman或Kendall秩相關(guān)系數。
五、t檢驗
用于比較均值的t檢驗可以分成三類(lèi):第一類(lèi)是針對單組設計定量資料的;第二類(lèi)是針對配對設計定量資料的;第三類(lèi)則是針對成組設計定量資料的。后兩種設計類(lèi)型的區別在于事先是否將兩組研究對象按照某一個(gè)或幾個(gè)方面的特征相似配成對子。無(wú)論哪種類(lèi)型的t檢驗,都必須在滿(mǎn)足特定的前提條件下應用才是合理的。
若是單組檢驗,必須給出一個(gè)標準值或總體均值,同時(shí),提供一組定量的觀(guān)測結果,應用t檢驗的前提條件就是該組資料必須服從正態(tài)分布;若是配對設計,每對數據的差值必須服從正態(tài)分布;若是成組設計,個(gè)體之間相互獨立,兩組資料均取自正態(tài)分布的總體,并滿(mǎn)足方差齊性。之所以需要這些前提條件,是因為必須在這樣的前提下所計算出的t統計量才服從t分布。
t檢驗是目前在科學(xué)研究中使用頻率最高的一種假設檢驗方法。t檢驗方法簡(jiǎn)單,其結果便于解釋。簡(jiǎn)單、熟悉加上外界的要求,促成了t檢驗的流行。但是,由于我們對該方法理解得不全面,導致在應用過(guò)程中出現不少問(wèn)題,有些甚至是非常嚴重的錯誤,直接影響到結論的可靠性。
常見(jiàn)錯誤:不考慮t檢驗的應用前提,對兩組的比較一律用t檢驗;將各種實(shí)驗設計類(lèi)型一律視為多個(gè)單因素兩水平設計,多次用t檢驗進(jìn)行均值之間的兩兩比較。以上兩種情況,均不同程度地增加了得出錯誤結論的風(fēng)險。而且,在實(shí)驗因素的個(gè)數大于等于2時(shí),無(wú)法研究實(shí)驗因素之間的交互作用的大小。
正確做法:當兩樣本均值比較時(shí),如不滿(mǎn)足正態(tài)分布和方差齊性,應采用非參檢驗方法(如秩檢驗);兩組以上的均值比較,不能采用t檢驗進(jìn)行均值之間的兩兩比較。
因此我們必須注意,在使用t檢驗的時(shí)候,一定要注意其前提以及研究目的,否則,會(huì )得出錯誤的結論。
六、常用統計分析軟件
國際上已開(kāi)發(fā)出的專(zhuān)門(mén)用于統計分析的商業(yè)軟件很多,比較著(zhù)名有SPSS(Statistical Package for SocialSciences)、SAS(Statistical AnalysisSystem)、BMDP和STATISTICA等。其中,SPSS是專(zhuān)門(mén)為社會(huì )科學(xué)領(lǐng)域的研究者設計的(但是,此軟件在自然科學(xué)領(lǐng)域也得到廣泛應用);BMDP是專(zhuān)門(mén)為生物學(xué)和醫學(xué)領(lǐng)域研究者編制的統計軟件。
當然,excel也能用于統計分析。單擊“工具”菜單中的“數據分析”命令可以瀏覽已有的分析工具。如果在“工具”菜單上沒(méi)有“數據分析”命令,應在“工具”菜單上運行“加載宏”命令,在“加載宏”對話(huà)框中選擇“分析工具庫”。
特別推薦一款國產(chǎn)軟件——DPS,其界面見(jiàn)附圖。其功能較為強大,除了擁有統計分析功能,如參數分析,非參分析等以外,還專(zhuān)門(mén)針對一些專(zhuān)業(yè)編寫(xiě)了專(zhuān)業(yè)統計分析模塊,隨機前沿面模型、數據包絡(luò )分析(DEA)、顧客滿(mǎn)意指數模型(結構方程模型)、數學(xué)生態(tài)、生物測定、地理統計、遺傳育種、生存分析、水文頻率分析、量表分析、質(zhì)量控制圖、ROC曲線(xiàn)分析等內容。有些不是統計分析的功能,如模糊數學(xué)方法、灰色系統方法、各種類(lèi)型的線(xiàn)性規劃、非線(xiàn)性規劃、層次分析法、BP神經(jīng)網(wǎng)絡(luò )、徑向基函數(RBF)等,在DPS里面也可以找到。
怎樣選擇數據分析方法
一、質(zhì)量改進(jìn)統計方法選擇的基本導向
從工業(yè)革命的傳統過(guò)程考察,大量的統計方法和技術(shù)伴隨機器工業(yè)和科學(xué)實(shí)驗的進(jìn)步發(fā)展起來(lái)。像美國貝爾實(shí)驗室的工程師休哈特提出的統計質(zhì)量控制方法、道奇和羅米格首創(chuàng )的計數標準型抽樣檢驗方法、費歇爾的正交實(shí)驗設計、皮爾遜的相關(guān)分析和費希爾的回歸分析等,都是在工農業(yè)生產(chǎn)和科學(xué)實(shí)驗的數據基礎上發(fā)展起來(lái)的,也有一些方法來(lái)源于醫學(xué)和生物統計學(xué)的研究和物理化學(xué)實(shí)驗的數據分析活動(dòng)中,比如卡方檢驗、蒙特卡洛隨機模擬等。這些方法不是來(lái)自單純的演繹邏輯意義上的推導過(guò)程,而是從工農業(yè)生產(chǎn)和科學(xué)實(shí)驗的實(shí)踐中發(fā)展起來(lái)的,雖然受制于獲取數據和手工計算能力的約束,但方法論的創(chuàng )新還是極大地推動(dòng)了質(zhì)量統計技術(shù)的進(jìn)步和實(shí)際應用的發(fā)展。
目前,在質(zhì)量改進(jìn)活動(dòng)中使用統計方法已經(jīng)相當普及,許多改進(jìn)項目甚至開(kāi)始獨立設計統計模型方法及相應的檢驗工具,統計學(xué)作為質(zhì)量改進(jìn)的基礎方法論得到了廣泛的發(fā)展和應用。促進(jìn)這些方法走向實(shí)踐的主要原因是什么?
。ㄒ唬⿺祿䦟。
所謂數據導向,即“有什么數據,選擇什么方法”,從質(zhì)量過(guò)程生成的統計數據出發(fā),選擇和設計相應的統計方法,有時(shí)也根據這些數據設計一些QC課題或者其他質(zhì)量改進(jìn)項目。這種導向的特點(diǎn)是有什么數據,就做什么改進(jìn),而不是從質(zhì)量現狀或質(zhì)量改進(jìn)的關(guān)鍵技術(shù)、關(guān)鍵環(huán)節、成本、安全及交貨期等出發(fā)。例如,國內某著(zhù)名乳品企業(yè)采用先進(jìn)的乳制品生產(chǎn)、消毒、存儲和包裝設備,每日自動(dòng)產(chǎn)生大量的過(guò)程統計數據和質(zhì)量檢驗數據,加上營(yíng)銷(xiāo)部門(mén)提供的銷(xiāo)售數據和電子商務(wù)網(wǎng)站形成的客戶(hù)訂購、投訴和評價(jià)數據,構成了復雜的數據系統,實(shí)際上已經(jīng)成為企業(yè)大數據系統的雛形。但是,該企業(yè)始終沒(méi)有設計出適應企業(yè)自身需求的數據分析系統,也無(wú)法使這些數據在系統的質(zhì)量改進(jìn)和控制中起到積極的作用,浪費了大量的數據資源和改進(jìn)管理的機會(huì )。
。ǘ┠P蛯。
模型導向是指為實(shí)證某個(gè)新設計或新發(fā)現的統計模型而進(jìn)行的質(zhì)量改進(jìn)過(guò)程,這些統計模型的成功應用有些可以獲得良好的改進(jìn)效果,有些則無(wú)法適應真正的改進(jìn)目標。從改革開(kāi)放30多年中質(zhì)量管理技術(shù)的進(jìn)步過(guò)程來(lái)看,我們一直在追趕發(fā)達國家的管理手段和技術(shù)方法,從20世紀80年代的全面質(zhì)量管理、90年代的質(zhì)量標準化管理到2000年代后的六西格瑪管理和卓越績(jì)效管理,似乎都體現了方法論上的盲目性,只顧追趕別人的腳步,不知道是否適合自身的發(fā)展。
從微觀(guān)角度審視,一些企業(yè)的質(zhì)量管理技術(shù)人員,在質(zhì)量方法的選擇上追求模型的“高大上”,簡(jiǎn)單參考和引進(jìn)國外的先進(jìn)數學(xué)模型,用眼花繚亂的數學(xué)公式代替了扎扎實(shí)實(shí)的現場(chǎng)調查和改進(jìn)過(guò)程,把質(zhì)量管理活動(dòng)變成了新統計模型的實(shí)驗室。
。ㄈ┕ぞ邔。
統計軟件是質(zhì)量統計的重要工具,從SPC的應用過(guò)程可以看到,休哈特博士設計的均值極差控制圖就是典型的工具導向的一個(gè)應用。由于當時(shí)的計算能力和工具不足,因此在作業(yè)現場(chǎng)計算方差比較困難,所以休哈特博士采用了計算更為簡(jiǎn)易的極差來(lái)替代方差,用以表征質(zhì)量過(guò)程的波動(dòng)性。
專(zhuān)業(yè)的統計軟件是質(zhì)量改進(jìn)方法的重要推動(dòng)力量,一些世界知名廠(chǎng)商也陸續推出面向質(zhì)量管理的專(zhuān)用模塊和程序,這些軟件包括SAS、SPSS、STATISTICA
、Minitab、Matlab等。進(jìn)入新世紀以來(lái),大數據逐漸成為統計軟件工具必須面對的重要對象,數據挖掘(Data Mining)和商業(yè)智能(Business Intelligence)等方法成為統計軟件的主流方法,同時(shí)這些方法也被大量應用到質(zhì)量管理活動(dòng)中。于是,以統計軟件工具為導向的一大批質(zhì)量管理成果開(kāi)始出現在各種場(chǎng)合,比如六西格瑪黑帶項目、可靠性項目、多變量統計過(guò)程控制(MSPC)、實(shí)驗設計(Design of Experiment)等。
與模型導向一樣,工具導向的質(zhì)量改進(jìn)也是被動(dòng)的,無(wú)法真正面向質(zhì)量生產(chǎn)的過(guò)程,即便是成功的數據分析也只能是統計模型和軟件的新例證,而不能成為質(zhì)量改進(jìn)的新成果。
。ㄋ模┌咐龑。
案例導向的質(zhì)量改進(jìn)過(guò)程,來(lái)自商學(xué)院工商管理碩士(MBA)案例教學(xué)實(shí)踐中,來(lái)自企業(yè)、院校和研究所的MBA似乎更喜歡來(lái)自成功案例方法的質(zhì)量改進(jìn)過(guò)程。但商業(yè)模式和管理經(jīng)驗并不總是可重復和可再現的,質(zhì)量改進(jìn)也是如此,商業(yè)案例只是對成功管理活動(dòng)的總結和提煉,而不是輸出管理規則和盈利模式。因此,基于成功的商學(xué)院案例或者六西格瑪成功案例實(shí)施的質(zhì)量改進(jìn)方法進(jìn)程中,有很大一部分是無(wú)法完成改進(jìn)目標和任務(wù)的。
。ㄎ澹┤蝿(wù)導向。
所謂的任務(wù)導向是目前很多企業(yè)采用的一種中規中矩的質(zhì)量統計方法,就是根據企業(yè)生產(chǎn)計劃和調度要求,提出某項生產(chǎn)或管理任務(wù),從完成任務(wù)的目的考慮,采用常規的統計方法或者技術(shù)來(lái)完成任務(wù),甘特圖的使用就是任務(wù)導向的一個(gè)典型例子。
企業(yè)在進(jìn)行績(jì)效考核的時(shí)候,一般多采用多變量線(xiàn)性模型進(jìn)行綜合評價(jià),用來(lái)合成多項指標的考核分值,這類(lèi)統計方法已經(jīng)成為主流的績(jì)效評價(jià)方法,從卓越績(jì)效模式的評價(jià)到中小企業(yè)的員工績(jì)效考核,大多采用此法,這就是任務(wù)導向的方法選擇。這些方法是無(wú)法進(jìn)行真正的質(zhì)量改進(jìn)的,只是一種較優(yōu)的質(zhì)量統計方法選擇。
。﹩(wèn)題導向。
質(zhì)量統計方法的基本功能是描述、解釋和探索,是基于過(guò)程或結果的統計數據而進(jìn)行的有目的的質(zhì)量改進(jìn)活動(dòng),用以解決企業(yè)經(jīng)營(yíng)管理過(guò)程中出現的各種問(wèn)題。因此,問(wèn)題導向的質(zhì)量統計方法主要是指以質(zhì)量管理活動(dòng)中出現的問(wèn)題為核心改進(jìn)目標,從問(wèn)題的現狀調查、研判、因果關(guān)系判別以及對策、實(shí)驗和檢驗等基本目標出發(fā),量身定制或者重新創(chuàng )建新的數據管理或質(zhì)量改進(jìn)統計方法,做到因地制宜、對癥下藥,達到追本溯源、藥到病除的效果,這才是真正的應用統計價(jià)值所在,也是質(zhì)量統計方法追求的科學(xué)、合理和高效的真正動(dòng)力。
現實(shí)中,一些QC項目和六西格瑪項目,就是為了做項目而刻意尋找項目,而不是面向企業(yè)生產(chǎn)經(jīng)營(yíng)和管理實(shí)踐活動(dòng)本身,他們根據比較好的一些質(zhì)量特性,逆向設計統計方法,模擬和推斷出可能的數據改進(jìn)方法和計算模型,從而達到項目要求或評獎要求,實(shí)際上放棄了統計方法對于質(zhì)量改進(jìn)的真正貢獻,也放棄了科學(xué)改進(jìn)的真正目的,違背了質(zhì)量改進(jìn)的最初目的和終極價(jià)值。
二、問(wèn)題導向的質(zhì)量改進(jìn)統計方法選擇
問(wèn)題導向的質(zhì)量改進(jìn)過(guò)程中,要一切從問(wèn)題的現狀出發(fā),擬定合理目標,設計跟進(jìn)數據集,選擇合適的統計方法,帶著(zhù)問(wèn)題逐步深入才能得到滿(mǎn)意的改進(jìn)效果。
問(wèn)題導向的質(zhì)量改進(jìn)一般應遵循三個(gè)基本原則,一是厘定問(wèn)題,單一目標;二是自頂向下,逐步求精;三是優(yōu)選方法,單入單出。在這個(gè)原則下,質(zhì)量改進(jìn)的過(guò)程可以分為以下步驟:
。ㄒ唬┨岢鰡(wèn)題。
和一般的改進(jìn)過(guò)程一樣,面向問(wèn)題的改進(jìn)過(guò)程主要是對于質(zhì)量問(wèn)題的定義和選擇,這些問(wèn)題不是上級決定的,也不是財務(wù)目標中挑出來(lái)的,而應該來(lái)自質(zhì)量經(jīng)營(yíng)和管理的實(shí)踐中出現的質(zhì)量問(wèn)題和可能造成不良的機會(huì )。因此質(zhì)量改進(jìn)的動(dòng)因本身就具有補償性質(zhì)量的能力,如果不出現問(wèn)題,質(zhì)量管理的重點(diǎn)則應放在質(zhì)量保證能力建設和預防性質(zhì)量的提升方面。
。ǘ┟枋鰡(wèn)題并抽象成統計模型。
精確定義質(zhì)量生產(chǎn)和使用過(guò)程中出現的問(wèn)題,并力圖把這個(gè)問(wèn)題抽象成為統計模型。比如對于推土機首次故障時(shí)間的確認,就可以根據統計建模的經(jīng)驗和方法,考慮通過(guò)構建指數模型來(lái)計算一批推土機銷(xiāo)售以后首次故障時(shí)間的期望均值,并以此通過(guò)假設檢驗來(lái)設定首次故障時(shí)間,并最終實(shí)現質(zhì)量的全面提升。
。ㄈ┇@得過(guò)程和結果的數據。
統計模型方法依賴(lài)大量數據和檢驗,因此模型方法所需要的數據必須和問(wèn)題產(chǎn)生的過(guò)程保持一致,也就是說(shuō),必須回到問(wèn)題發(fā)生的現場(chǎng)去收集整理數據并獲得數據口徑、背景和計算方法的要求。這些數據可以客觀(guān)地描述、解釋和探索質(zhì)量過(guò)程中的細節,可以由此回溯和推斷問(wèn)題出現的可能性、因果性以及相關(guān)性,真正地做到“讓數據說(shuō)話(huà)”、“讓模型作證”和“讓結果指向”。
。ㄋ模┓治鼋:万炞C。
根據得到的數據和所選的統計方法創(chuàng )建統計模型,對問(wèn)題進(jìn)行深入的分析和解剖,得到解決問(wèn)題的基本方向和思路,并設計出解決問(wèn)題的路徑和方法,對這些方法進(jìn)行實(shí)地實(shí)驗和驗證,力求得出解決問(wèn)題的全局性對策。
。ㄎ澹┓椒ㄟx擇的導向性。
有些問(wèn)題的出現和解決,似乎有定數,比如因果圖就經(jīng)常被用來(lái)解決質(zhì)量改進(jìn)中的可能性關(guān)聯(lián)問(wèn)題。有些研究者更愿意采用復雜的數理統計模型來(lái)完成該改進(jìn)任務(wù),但我們的建議是選擇最適合的方法,而不是最先進(jìn)或者最豪華的方法。面向問(wèn)題是質(zhì)量改進(jìn)的第一動(dòng)力,因此統計方法的選擇只有依照這個(gè)原則來(lái)進(jìn)行,才有可能真正起到質(zhì)量改進(jìn)的作用,也從而實(shí)現質(zhì)量提升的最終目標。
三、統計數據的來(lái)源和統計方法的適應性
。ㄒ唬⿺祿䜩(lái)源。
傳統的企業(yè)統計數據來(lái)源于三個(gè)方面,即企業(yè)統計臺賬、生產(chǎn)記錄和檢驗記錄,這些數據是工業(yè)生產(chǎn)過(guò)程的人工記錄,需要對質(zhì)量生產(chǎn)過(guò)程進(jìn)行人工干預才可以獲得,有些數據因此產(chǎn)生了較大的誤差和偏移,以至于很多統計方法無(wú)法接近真實(shí)過(guò)程。
目前,我國已進(jìn)入工業(yè)化后期,國際先進(jìn)的制造技術(shù)和設備被大量引進(jìn),其中包括具備強大數據生產(chǎn)能力的數控設備、網(wǎng)控設備和電子自動(dòng)檢測裝置等,這些先進(jìn)的電子設備可以大量測定、檢驗和記錄數據,生成連續性、大規模和高精度的同步數據集,此即企業(yè)大數據的雛形。在一些先進(jìn)的制造企業(yè),技術(shù)人員已經(jīng)可以直接從設備上導出大量的數據用以完成SPC、MSA、DOE等經(jīng)典統計模型的擬合和研判,可以實(shí)現真正的大數據同步質(zhì)量分析、檢驗和預警目標。
因此,當前企業(yè)主要的數據來(lái)源有四個(gè)方面,一是企業(yè)管理數據,包括企業(yè)管理統計臺賬、績(jì)效考據數據、經(jīng)營(yíng)管理數據、投資和財務(wù)數據、營(yíng)銷(xiāo)數據等;二是企業(yè)生產(chǎn)過(guò)程數據,包括來(lái)自電子設備和網(wǎng)絡(luò )設備中自動(dòng)記錄和篩選的數據;三是質(zhì)量檢驗和驗收的數據;四是來(lái)自供應鏈和客戶(hù)調查的數據。這些數據大部分是連續生產(chǎn)的,主要是定量數據,也包含一些定性數據,這些數據構成企業(yè)經(jīng)營(yíng)管理活動(dòng)的新資源。
。ǘ┙y計方法選擇的基本原則。
問(wèn)題導向的統計方法選擇一般以數據為基礎,有的方法要求的數據量比較少,因而容易在實(shí)踐中使用,比如SPC、DOE等,而有的統計方法則要求更多的數據量和數據質(zhì)量,比如時(shí)間序列和可靠性統計分析方法等。因此,選擇統計方法時(shí),應考慮所需要的數據在多個(gè)方面的特征和要求。
一是數據的易得性,要能夠很容易和低成本地采集數據,對于網(wǎng)控設備來(lái)說(shuō),還應考慮網(wǎng)絡(luò )聯(lián)通問(wèn)題;二是數據的統計口徑、測量設備和測定方法要保持一致,這樣的數據才具備基本的分析基礎和分析能力;三是大數據的連續性采集能力,一些現場(chǎng)數據的采集必須滿(mǎn)足連續性的要求,才可以輔助實(shí)施和分析,采用管理學(xué)意義上的價(jià)值,比如統計過(guò)程控制和抽樣檢驗的數據等;四是保持數據采集的可重復性、可復現性和可控制性,大量統計數據的誤差只有通過(guò)較為嚴格的方差分析和參數檢驗、分布模擬可能付諸建模分析和質(zhì)量改進(jìn),因此要保證數據的采集技術(shù)不會(huì )帶來(lái)較大的誤差影響。
【數據分析中要注意的統計學(xué)問(wèn)題】相關(guān)文章:
推廣中要注意的數據分析05-18
統計學(xué)在教學(xué)中的分析05-19
企業(yè)并購中的稅務(wù)問(wèn)題分析09-26
小升初簡(jiǎn)歷與面試中需要注意的幾點(diǎn)問(wèn)題09-04
日語(yǔ)口語(yǔ)中需要注意的問(wèn)題有哪些08-13
Excel中數據要雙擊單元格能更新數據問(wèn)題的解決方法08-09
IBM大數據分析07-09
護理老人要注意的問(wèn)題12-06
老人晨練要注意的問(wèn)題10-19
廚房裝修要注意的問(wèn)題07-08