數據挖掘技術(shù)在中等職業(yè)學(xué)校管理實(shí)踐中的應用研究
摘 要:我國中等職業(yè)教育的學(xué)校規模、在校生人數等都有了很大的發(fā)展,高效的數據管理對學(xué)校發(fā)展起到越來(lái)越重要的作用。利用Hash樹(shù)和Fp樹(shù)對Apriori算法對學(xué)生信息、教學(xué)信息、后勤信息進(jìn)行分析和研究,并進(jìn)行優(yōu)化和實(shí)施關(guān)聯(lián)規則挖掘,用遺傳算法對挖掘成果進(jìn)行優(yōu)化,以此來(lái)推動(dòng)中等職業(yè)教育的發(fā)展。關(guān)鍵詞: 數據挖掘;關(guān)聯(lián)規則;遺傳算法
1 引言
信息時(shí)代的計算機數據存儲技術(shù)等得到了飛速發(fā)展。大量的數據與數據分析處理方法相互結合產(chǎn)生了數據挖掘技術(shù),目前數據挖掘是在許多領(lǐng)域和方面得到了廣泛應用的技術(shù)。隨著(zhù)中等職業(yè)教育的發(fā)展,提高職業(yè)教育質(zhì)量已成為一個(gè)系統工程。目前職業(yè)學(xué)校已存儲了以學(xué)校教學(xué)實(shí)踐為中心的大量數據,但是其背后所蘊含的大量有用信息并未得到發(fā)現和利用,主要是因為利用分析方法不適應職業(yè)學(xué)校的大量復雜數據。利用數據挖掘技術(shù)從中發(fā)現有價(jià)值的信息可以指導職業(yè)學(xué)校教學(xué)、就業(yè)、后勤等各方面的管理,提高管理效率,降低成本,推動(dòng)職業(yè)教育更好的發(fā)展。
2 關(guān)聯(lián)規則挖掘算法
2.1 Apriori算法及改進(jìn)
Apriori算法是關(guān)聯(lián)規則挖掘的基本算法,它利用項集的先驗性知識和層次順序的循環(huán)搜索方法來(lái)發(fā)現頻繁項集,首先產(chǎn)生頻繁1-項集L1;然后利用L1來(lái)產(chǎn)生頻繁2-項集L2,不斷循環(huán)下去直到無(wú)法發(fā)現更多的頻繁K-項集為止。
從兩個(gè)方面對Apriori算法進(jìn)行改進(jìn)。
2.1.1 利用HASH樹(shù)對支持度進(jìn)行計數
HASH樹(shù)根節點(diǎn)為空,用HASH函數來(lái)決定內部節點(diǎn)的分支走向,遍歷HASH樹(shù)可以對候選項集支持度進(jìn)行計數,用HASH樹(shù)對候選項集的支持度進(jìn)行計數,避免了窮舉法對事務(wù)中的每個(gè)項集與候選項集進(jìn)行比較,而是進(jìn)行了分類(lèi),降低了支持度計數的任務(wù)量。
2.1.2 用FP樹(shù)提取頻繁項集
FP樹(shù)(frequent pattern tree)實(shí)現了對數據的緊湊表示,可以從該結構中直接提取頻繁項集。FP樹(shù)之中的一條路徑所表示的數據序列對應一條事務(wù)中的數據,對于不同事務(wù)中相同的數據項對應的FP樹(shù)中的路徑可以重疊,從而實(shí)現了事務(wù)數據的緊湊表示。FP樹(shù)的節點(diǎn)包括數據項的標記和計數,計數表示經(jīng)過(guò)該路經(jīng)的事務(wù)個(gè)數。
(1)對各數據項的數據按照它們的支持度計數的遞減順序排序,從而調整數據集中各數據的次序。
(2)由數據集構造FP樹(shù),對第一個(gè)事務(wù)創(chuàng )建從根節點(diǎn)到事務(wù)中各數據的路徑并進(jìn)行支持度計數。
(3)繼續讀入事務(wù),與創(chuàng )建過(guò)路徑的事務(wù)進(jìn)行比較將新事務(wù)加入FP樹(shù),如果與創(chuàng )建過(guò)的事務(wù)有相同的路徑則合并相同的路徑,相應節點(diǎn)支持度增加,不同路徑增加不同的分支,進(jìn)行支持度計數。
(4)繼續該過(guò)程直到所有的事務(wù)都映射到FP樹(shù)。
(5)由FP樹(shù)依據不同的結尾進(jìn)行劃分,產(chǎn)生以其為后綴的路徑。
(6)不同的后綴產(chǎn)生相應的頻繁項集。
2.2 關(guān)聯(lián)規則的發(fā)現
由頻繁項集可以較為容易地產(chǎn)生相應的關(guān)聯(lián)規則,可以通過(guò)計算置信度來(lái)獲得強關(guān)聯(lián)規則,關(guān)聯(lián)規則的操作為:
2.2.1 對于每個(gè)頻繁項集L產(chǎn)生所有的非空子集。
2.2.2 對于L的非空子集 ,如果c( L- )= ≥min_s,則產(chǎn)生 (L- )的關(guān)聯(lián)規則, min_s為最小置信度閥值。
3 學(xué)校信息的數據挖掘
3.1 對學(xué)校信息進(jìn)行關(guān)聯(lián)挖掘
下邊以有代表性的學(xué)生就業(yè)方面信息為例來(lái)進(jìn)行分析。就業(yè)信息庫中的數據項包括:學(xué)生的編號、成績(jì)、學(xué)生干部、操行等級、實(shí)踐動(dòng)手能力、就業(yè)單位,其中編號為學(xué)生的唯一標識。為了便于數據存取現在對各數據項的內容進(jìn)行編號,其中成績(jì)項分為:優(yōu)(a1),良(a2),一般(a3);學(xué)生干部分為:是(b1)、不是(b2);操行等級程度分為:良(c1)、優(yōu)(c2)、一般(c3);實(shí)踐動(dòng)手能力分為:強(d1)、較強(d2)、一般(d3)。就業(yè)單位分為:大型公有企業(yè)(e1)、大型私企 (e2)、一般公有企業(yè) (e3)、一般私企(e4)。
現有部分學(xué)生就業(yè)信息:
學(xué)生信息庫中共有125條學(xué)生就業(yè)方面的信息,應用挖掘軟件對其進(jìn)行數據挖掘,最小支持度選定為0.3,最小置信度選定為0.5。其數據信息和挖掘結果如下所示:
在該就業(yè)數據庫中就業(yè)信息處于最主要的地位,也最有分析價(jià)值和現實(shí)意義。為了挖掘就業(yè)方面的關(guān)聯(lián)規則,發(fā)現影響就業(yè)情況的因素,從挖掘結果中提取“結論”含有就業(yè)數據項(e1,e2,e3)的規則,得到的規則表達式和可信度為:
(1)b1|c2 e1 confidence=0.84
(2)b1 e1 confidence=0.62
(3)b1|d2 e1 confidence=0.62
(4)c2|d2 e1 confidence=0.58
(5)b2 e2 confidence=0.52
(6)c2 e2 confidence=0.56
(7)b2|c2 e2 confidence=0.91
(8)a2 e2 confidence=0.64
由1至4式得:學(xué)生干部且操行達到優(yōu)、學(xué)生干部、學(xué)生干部并且實(shí)踐動(dòng)手能力較強、操行達到優(yōu)且實(shí)踐動(dòng)手能力較強到大型公有企業(yè)就業(yè)的可能性分別為0.84、0.62、0.62、0.58。
分析可以得到如下結果:學(xué)生干部和操行等級對進(jìn)入大型公有企業(yè)就業(yè)有著(zhù)重要影響,同時(shí)也應該提高實(shí)踐動(dòng)手能力。
由5到8式得:不是學(xué)生干部、操行達到優(yōu)、不是學(xué)生干部且操行達到優(yōu)、學(xué)習良好到大型私企的可能性分別是0.52、0.56、0.91、0.64。
分析得:操行等級和學(xué)習成績(jì)對進(jìn)入大型私企有較大的影響,同時(shí)是學(xué)生干部對進(jìn)入大型私企沒(méi)有進(jìn)入大型公有企業(yè)的影響力大。
3.2 遺傳算法對挖掘結果的優(yōu)化
遺傳算法是模擬生物的遺傳、變異、選擇、淘汰等自然選擇和遺傳機制,以隨機的形式將最適合目標的種群通過(guò)重組產(chǎn)生新的一代。該算法是一種全局優(yōu)化算法,適合于較大空間的優(yōu)化問(wèn)題,具有并行性、糾錯能力強和可操作性的特點(diǎn)。在數據挖掘中會(huì )遇到搜索尋求可行解或最優(yōu)解,需要處理海的量數據要花費很長(cháng)時(shí)間,遺傳算法的啟發(fā)式解決問(wèn)題的方法可以應用到這一方面。
由上面得到把各種要素對就業(yè)的影響可以用數學(xué)函數來(lái)表示,影響作用的大小對應函數值的大小。下面利用遺傳算法對挖掘結果的優(yōu)化,流程圖如下。
具體應用中就業(yè)情況受多個(gè)因素的影響,先抽取最有影響的兩個(gè)因素建立模型函數,下邊以函數y= (x1*x1-x2)*(x1*x2-x2)+(1-x1)*(1-x1)為例來(lái)分析,其中y為學(xué)生的就業(yè)情況好壞的量化表示,x1、x2分別是操行等級和動(dòng)手實(shí)踐能力。 程序中的類(lèi)型定義為:
int popsize; //種群大小
int maxgeneration; //最大世代數
double pc; //交叉率
double pm; //變異率
double fitness; //適應度
int generation; //世代數
struct individual bestindividual; //最佳個(gè)體
struct individual worstindividual; //最差個(gè)體
struct individual population[POPSIZE];
各函數說(shuō)明如下:
(1)void generateinitialpopulation ( )和void input ( )初始化種群和遺傳算法參數。
input( ) 函數輸入種群大小,染色體長(cháng)度,最大世代數,交叉率,變異率等參數。
(2)void calculateobjectvalue( )計算適應度函數值。根據給定的變量用適應度函數計算然后返回適應度值。
(3)選擇函數selectoperator( ),在函數selectoperator( )中首先用rand ()函數產(chǎn)生0~1間的選擇算子,當適度累計值不為零時(shí),各個(gè)體適應度占總適應度的百分比與選擇算子值比較,達到選擇算子規定值的那個(gè)體被選出,即適應度為fi的個(gè)體以fi/∑fk的概率繼續存在;顯然,個(gè)體適應度愈高,被選中的概率愈大。但是,適應度小的個(gè)體也有可能被選中,以便增加下一代群體的多樣性。
(4)染色體交叉函數crossoveroperator( )是遺傳算法中的最重要的函數之一,它是對個(gè)體兩個(gè)變量所合成的染色體進(jìn)行交叉,而不是變量染色體的交叉,這要搞清楚。首先用rand ()函數產(chǎn)生隨機概率,若小于交叉概率,則進(jìn)行染色體交叉,同時(shí)交叉次數加1。這時(shí)又要用rand()函數隨機產(chǎn)生一位交叉位,把染色體的交叉位的后面部分交叉即可;若大于交叉概率,則進(jìn)行簡(jiǎn)單的染色體復制即可。
(5)染色體變異函數mutation( ),變異是針對染色體字符而言的,而不是對個(gè)體而言,即個(gè)體變異的概率是一樣。隨機產(chǎn)生比較概率,若小于變異概率,則1變?yōu)?,0變?yōu)?,同時(shí)變異次數加1。
(6)long decodechromosome(char *,int,int) ,本函數是染色體解碼函數,它將以數組形式存儲的二進(jìn)制數轉成十進(jìn)制數,然后才能用適應度函數進(jìn)行計算。
(7)void findbestandworstindividual( ),本函數是求最大適應度個(gè)體的,每一代的所有個(gè)體的適應度都要和初始的最佳個(gè)體比較,如果大于就賦給最佳個(gè)體。
(8)void outputtextreport ( ),本函數輸出種群統計結果。
運行結果如圖3.4所示為:
設定種群大小為150, 最大世代數為80,交叉率為0.5,變異率為0.05,運行結果如圖3.4所示,由此得到y=(x1*x1-x2)*(x1*x2-x2)+(1-x1)*(1-x1)的最大值約為47.86,即:整體學(xué)生操行等級和動(dòng)手實(shí)踐能力對就業(yè)的影響程度為47.86。這為大量數據的最優(yōu)求解問(wèn)題提供一種參考方法,具有很大的借鑒意義。上述分析方法也有很大的局限性,主要是選擇合適的評價(jià)函數即適應度函數問(wèn)題。
4 結論
目前,數據挖掘技術(shù)在職業(yè)學(xué)校信息管理中的應用還處于起步階段,但是由于其在數據處理、分析、組織以及信息挖掘等方面所表現出來(lái)的巨大潛力,相信不久的將來(lái),隨著(zhù)數據庫的不斷膨脹和數據挖據技術(shù)在職業(yè)學(xué)校信息管理中應用的不斷深入,為我國職業(yè)學(xué)校的跨越式發(fā)展起到一個(gè)科學(xué)導向作用。
參 考 文 獻:
[1] 陳安,陳寧,周龍驤.數據挖掘技術(shù)與應用.北京:科學(xué)出版社,2006
[2] Pang-Ning Tan Michael Steinbach Vipin Kumar.數據挖掘導論.北京:人民郵電出版社,2006
[3] 李本貴.數據挖掘在高校后勤中的應用.企業(yè)技術(shù)開(kāi)發(fā),2006(2):22~23
[4] 錢(qián)能.C++程序設計教程.北京:清華大學(xué)出版社,1999
[5] 張儒良,王翰虎.論數據挖掘優(yōu)化教學(xué)管理.2004(2):133~155
[6] 谷瓊,朱麗,蔡智華,袁紅星.基于決策樹(shù)的高校研究生信息庫數據挖掘.電子技術(shù)應用,2006(1):21~22
【數據挖掘技術(shù)在中等職業(yè)學(xué)校管理實(shí)踐中的應用研究】相關(guān)文章:
數據挖掘技術(shù)在Web信息檢索中的應用研究論文12-01
數據挖掘技術(shù)在高校學(xué)生成績(jì)分析中的應用研究論文03-15
數據挖掘技術(shù)在移動(dòng)通信中的運用02-27
數據挖掘技術(shù)的教學(xué)輔助系統應用論文03-16
數據挖掘技術(shù)在就業(yè)指導的應用論文02-27
試論基于數據挖掘技術(shù)的保護設備故障信息管理與分析系統12-05
數據挖掘與企業(yè)營(yíng)銷(xiāo)策略探究03-29
- 相關(guān)推薦