- 相關(guān)推薦
信息檢索中概念術(shù)語(yǔ)的提取方法探析論文
隨著(zhù)網(wǎng)絡(luò )技術(shù)的發(fā)展，網(wǎng)絡(luò )信息越來(lái)越多，文本的數量也急劇增加，信息檢索技術(shù)的出現滿(mǎn)足了人們對需求信息的獲取和使用。網(wǎng)絡(luò )成為信息獲取的來(lái)源和渠道之一，然而，從這些海量的文本中獲取所需要的知識成為專(zhuān)家學(xué)者研究的熱點(diǎn)。目前大多數的搜素引擎采用關(guān)鍵詞匹配技術(shù)進(jìn)行檢索，現階段學(xué)者將更多的目光投向新型的檢索模式和方法，以改進(jìn)搜索效果。在信息檢索的經(jīng)典模式中，用來(lái)描述一篇文檔的一組具有代表性的關(guān)鍵詞叫做術(shù)語(yǔ)。對于一篇文檔而言，術(shù)語(yǔ)很可能包含了多個(gè)含義，而在不同的上下文中，術(shù)語(yǔ)的意義不同。一個(gè)術(shù)語(yǔ)或者詞組會(huì )有多種意義，一個(gè)領(lǐng)域的特定概念是明確的，因而，當信息檢索中，采用領(lǐng)域概念描述文檔比術(shù)語(yǔ)更有意義。使用領(lǐng)域特定概念呈現在文檔中比檢索屬于特定領(lǐng)域文檔的術(shù)語(yǔ)更有用�？赏ㄟ^(guò)算法進(jìn)行文檔概念的抽取，利用這些描述文檔內容的概念非傳統的詞條，詞頻進(jìn)行檢索，相對于傳統的檢索，減少了不少工作量，提高了檢索精度。
1相關(guān)研究
信息檢索也稱(chēng)為信息查找或信息搜索，1965年，Rocchio研究了在向量空間模型中把信息查詢(xún)和術(shù)語(yǔ)重新加權相結合的經(jīng)典技術(shù)，并在隨后出版發(fā)行[1].Ide繼承了Rocchio的研究，并提出了術(shù)語(yǔ)重新加權公式的變形[2].1976年，Robertson和sparkJoneS提出了概率模型[3],有關(guān)該模型的詳細討論見(jiàn)van-Rijsbergen的著(zhù)作[4].1981年Wu和salton使用相關(guān)反饋來(lái)給從相關(guān)文檔中提取出來(lái)的概念術(shù)語(yǔ)（用概率公式）重新加權，并用概念術(shù)語(yǔ)來(lái)檢索信息[5],實(shí)驗表明了這些方法能夠提高檢索的性能。
實(shí)驗證明，提取文檔的領(lǐng)域概念術(shù)語(yǔ)在信息檢索過(guò)程中能夠更加準確和高效。因此采用概率加權方式提取領(lǐng)域概念術(shù)語(yǔ)，并將本體納入領(lǐng)域概念提取過(guò)程中，不僅解決了無(wú)詞典情況下的概念術(shù)語(yǔ)自動(dòng)提取研究，并且有更高的準確率。
2概念術(shù)語(yǔ)提取方法
概念的出現不是孤立存在。在一篇文檔中，如果概念有較高的權重，那么這篇文檔通常還會(huì )包含與概念相關(guān)的其他概念。如電至少有兩個(gè)不同的意義：電荷和電費。如果在一篇文檔中討論電荷，那么這篇文檔通常會(huì )包含如電流、電力等術(shù)語(yǔ)。而對于電費，文檔中通常包含如支付、額度等術(shù)語(yǔ)。因此，概念術(shù)語(yǔ)提取算法就是通過(guò)查看概念和與之相關(guān)的概念來(lái)計算這一概念權重值。
每一篇文檔都有一組術(shù)語(yǔ)和其對應的頻率，將列表中的每一個(gè)術(shù)語(yǔ)映射到與之對應的概念以及計算當前文檔中每個(gè)概念的權重是研究重點(diǎn)，因此本體發(fā)揮很重要的作用，文檔中的術(shù)語(yǔ)都可以從本體中獲得其相關(guān)的概念組。一個(gè)術(shù)語(yǔ)可以映射到一個(gè)或者多個(gè)概念，如上文提到，電可以映射到電荷、電費，本研究就是要從這些映射的概念中，找到最合適的特定領(lǐng)域的概念。
為了提取正確的概念，本研究涉及到相關(guān)概念。構建了簡(jiǎn)易的概念間關(guān)系網(wǎng)，這一概念關(guān)系網(wǎng)來(lái)自本體中的物理學(xué)領(lǐng)域的一部分概念圖，如果這個(gè)術(shù)語(yǔ)的相關(guān)概念在文檔中出現的次數越多，概念的權重就越高。該算法將文檔中的術(shù)語(yǔ)表和頻率作為輸入，然后返回一個(gè)概念列表以及概念的權重。
領(lǐng)域概念提取算法如下：在一篇文檔Γ的術(shù)語(yǔ)表里，ti表示每個(gè)術(shù)語(yǔ)，cij是從本體中獲得的相關(guān)概念。每個(gè)相關(guān)概念cij的權重就是cij·signfi-cance.cij·signficance最初作為術(shù)語(yǔ)ti的歸一化頻率，即ti·frequency.對于每個(gè)相關(guān)概念cij,該方法重在文檔中相關(guān)概念rcp的出現。然后，針對與概念rcp對應的術(shù)語(yǔ)tp的產(chǎn)生，通過(guò)α歸一化術(shù)語(yǔ)的頻率來(lái)增量相關(guān)概念cij的權重。
signficance·cij=ti·frequency+α|tp·frequency.在這里，α就是相關(guān)概念的權重，在本實(shí)驗中，將α=12.要獲得領(lǐng)域概念術(shù)語(yǔ)，因而該算法將選取權重值最大的概念作為領(lǐng)域概念。
算法3.1:概念的提取以及概念權重輸入：t1,t2,…，tn是文檔Γ的領(lǐng)域術(shù)語(yǔ)列表；ti·frequency領(lǐng)域術(shù)語(yǔ)ti的歸一化頻率；Γ文檔中標記的總數。
輸出：c1,c2,…，cm概念列表和概念的權重ci·significance對領(lǐng)域術(shù)語(yǔ)ti歸一化頻率
3實(shí)驗測試和分析
為了評價(jià)上文算法的性能，在搜索引擎（百度）中進(jìn)行不同的查詢(xún)并且收集了與查詢(xún)相對應的前20篇文檔。觀(guān)察來(lái)檢測與物理領(lǐng)域相關(guān)的文檔并計算準確度。評估該算法，實(shí)驗以相同的20篇文檔作為輸入，用概念列表和概念權重從輸入的所有文檔中過(guò)濾出領(lǐng)域文檔。人為已經(jīng)過(guò)濾出屬于物理領(lǐng)域的文檔。每一篇文檔dj用概念向量c={c1,c2,…，cm}來(lái)表示。當且僅當概念ci的相關(guān)文檔出現在文檔中時(shí)，這個(gè)概念ci的權重值vi>0.對于查詢(xún)詞q,在物理領(lǐng)域，與之對應的概念就是cq,如果在文檔中概念的權重值vq>0,那么這篇文檔dj就被選取出來(lái)。通過(guò)該算法返回的過(guò)濾輸出是人為進(jìn)行驗證并且用準確率和召回率評價(jià)該算法。
對于查詢(xún)C,集合C包含了由搜索引擎返回的前20篇文檔。從集合C中，人為標記出與查詢(xún)C相關(guān)的文檔集合F,集合R就表示人為所選取出來(lái)的相關(guān)文檔，即標準文檔，|R|就是集合F中元素的數量；對集合C中的相同文檔進(jìn)行進(jìn)一步處理，其處理方式上面已經(jīng)討論過(guò)的使用領(lǐng)域文檔和權重值進(jìn)行過(guò)濾，過(guò)濾之后，生成一個(gè)個(gè)文檔，就是算法所選取出來(lái)的文檔，即機器文檔A,|A|就是機器文檔A中元素的數量。而且，|Ra|就是集合F和集合A的交集的文檔數量。
對于輸入的查詢(xún)，這里準確率的計算是：運用了概念提取算法過(guò)濾出的文檔中的相關(guān)文檔數量|Ra|除以算法過(guò)濾出的文檔數量|A|.對于輸入查詢(xún)，這里召回率的計算是：運用了概念提取算法過(guò)濾出的文檔中的相關(guān)文檔數量|Ra|除以沒(méi)有運用概念提取算法的20篇文檔中相關(guān)文檔數量|R|.
輸入查詢(xún)12次，分別統計了20篇文檔中相關(guān)文檔的數量|R|（未用概念提取算法）、過(guò)濾后的文檔數量|A|（概念提取方法）、過(guò)濾后的相關(guān)文檔數量|Ra|（概念提取方法），根據得到的統計結果分別計算準確率（未用概念提取方法）、準確率%（概念提取方法）、召回率%（概念提取方法）。通過(guò)計算出了的準確率和召回率，未使用概念提取方法所得到的相關(guān)文檔的準確率大部分在5%-40%之間，然而通過(guò)概念提取方法得到的準確率達到100%占據70%,其余的在60%-80%之間，召回率達到100%占據70%,其余的在70%-90%之間。通過(guò)實(shí)驗表明，采用概念和概念的權重值過(guò)濾領(lǐng)域文檔提高了信息檢索的準確率。
結合本體的相關(guān)概念的領(lǐng)域概念術(shù)語(yǔ)自動(dòng)提取方法，從實(shí)驗中可以看出，利用本體獲得術(shù)語(yǔ)的相關(guān)概念減輕了無(wú)詞典帶來(lái)的壓力，并且該本體術(shù)語(yǔ)可以進(jìn)行擴充，解決了領(lǐng)域概固定化等問(wèn)題；采用相關(guān)概念提取領(lǐng)域概念，提高了準確率。仍存在不足，一方面概念提取算法還存在過(guò)濾掉了低頻的概念，而對文檔而言較重要的概念，另一方面還存在冗余概念因此，今后研究中將會(huì )完善算法。
【信息檢索中概念術(shù)語(yǔ)的提取方法探析論文】相關(guān)文章：
自然語(yǔ)言檢索中的概念控制09-20
探析CBR在因特網(wǎng)教育資源檢索中的應用09-25
循證醫學(xué)思維引入網(wǎng)絡(luò )信息檢索教學(xué)中的思考論文10-24
基于地理位置的社交網(wǎng)絡(luò )信息應用方法探析論文06-30
探析互動(dòng)教學(xué)方法在音樂(lè )教學(xué)活動(dòng)中的運用的論文09-12
論文：淺談生活中的數學(xué)概念09-19
探析孟子的論辯方法論文06-17