從小學(xué)、初中、高中到大學(xué)乃至工作，大家總免不了要接觸或使用論文吧，借助論文可以達到探討問(wèn)題進(jìn)行學(xué)術(shù)研究的目的。你知道論文怎樣才能寫(xiě)的好嗎？下面是小編整理的搜索引擎的研究與實(shí)現ASP+SQL論文，希望能夠幫助到大家。

　　目 錄

　　1、搜索引擎概述 1

　　1.1 搜索引擎的實(shí)現原理 1

　　1.1.1 從互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè) 1

　　1.1.2 建立索引數據庫 1

　　1.1.3 在索引數據庫中搜索 1

　　1.1.4 對搜索結果進(jìn)行處理排序 1

　　1.2 重要中文搜索策略－中文分詞 2

　　1.2.1 什么是中文分詞 2

　　1.2.2 中文分詞技術(shù) 3

　　1.2.3 分詞中的難題 4

　　1.2.4 中文分詞的應用 5

　　2、網(wǎng)絡(luò )蜘蛛基本原理 6

　　2.1 網(wǎng)站與網(wǎng)絡(luò )蜘蛛 6

　　2.2 內容提取 7

　　2.3 更新周期 8

　　3、總體設計 10

　　3.1 需求分析 10

　　3.2 問(wèn)題定義 10

　　3.3 總體設計 11

　　3.3.1 管理員部分實(shí)現 11

　　3.3.2 戶(hù)部分實(shí)現 11

　　3.3.3 幾個(gè)具體流程圖 12

　　4、數據庫設計 15

　　4.1 數據庫設計概述 15

　　4.2 創(chuàng )建sql server 2000數據庫 15

　　4.3 數據庫連接 15

　　4.3.1 建立數據庫的連接 15

　　4.3.2 執行SQL語(yǔ)句 15

　　4.4 數據表的設計 15

　　4.5 E-R圖設計 16

　　4.5.1 用戶(hù)界面全局E-R圖 16

　　良好的網(wǎng)站地圖導航可在一定程度上彌補網(wǎng)絡(luò )爬蟲(chóng)無(wú)法識別圖片和動(dòng)態(tài)網(wǎng)頁(yè)造成頁(yè)面不可見(jiàn)的情況，下面是小編搜集整理的一篇關(guān)于網(wǎng)絡(luò )爬蟲(chóng)企業(yè)網(wǎng)站優(yōu)化策略探討的論文范文，供大家閱讀查看。

面向網(wǎng)絡(luò )爬蟲(chóng)的企業(yè)網(wǎng)站搜索引擎優(yōu)化

　　網(wǎng)絡(luò )爬蟲(chóng)作為搜索引擎技術(shù)的核心技術(shù)，是按一定遍歷策略，以網(wǎng)頁(yè)之間的鏈接為路徑，抓取網(wǎng)頁(yè)必要信息，并將其下載到本地存儲設備上，以便進(jìn)行信息預處理的程序或腳本。隨著(zhù)互聯(lián)網(wǎng)的普及與搜索引擎技術(shù)的不斷發(fā)展，網(wǎng)絡(luò )爬蟲(chóng)技術(shù)作為搜索引擎的核心技術(shù)，已被越來(lái)越多的企業(yè)重視。面向網(wǎng)絡(luò )爬蟲(chóng)的企業(yè)網(wǎng)站，優(yōu)化策略研究成為企業(yè)網(wǎng)站優(yōu)化推廣眾多手段中最節約成本且效果最好的方法。

　　一、面向網(wǎng)絡(luò )爬蟲(chóng)的企業(yè)網(wǎng)站優(yōu)化策略

　　(一)網(wǎng)站導航

　　結構清晰的網(wǎng)站導航為網(wǎng)絡(luò )爬蟲(chóng)層層深入訪(fǎng)問(wèn)網(wǎng)站提供了很大便利，是網(wǎng)絡(luò )爬蟲(chóng)比較重視的內容之一�？蓮囊韵聨追矫鎸�網(wǎng)站導航進(jìn)行優(yōu)化設置，以便網(wǎng)絡(luò )爬蟲(chóng)更好地抓取收錄網(wǎng)站。

　　1. 用文字鏈接設置導航

　　基于目前的技術(shù)水平，網(wǎng)絡(luò )爬蟲(chóng)能夠識別的內容大多是文字內容，而無(wú)法識別 flash 和 JS 等，因此，用文字鏈接設置導航對網(wǎng)絡(luò )爬蟲(chóng)來(lái)說(shuō)比較合適。

　　2. 導航關(guān)鍵詞的設置

　　導航關(guān)鍵詞一般選用目標關(guān)鍵詞的長(cháng)尾詞，避免和首頁(yè)目標關(guān)鍵詞沖突。導航上的錨文字也可看做是一些很有價(jià)值的關(guān)鍵詞，可按照從左至右，重要性依次降低的方法進(jìn)行設置。此外，盡量避免使用一些沒(méi)有實(shí)際作用的欄目。

　　3. 網(wǎng)站地圖的設置

　　學(xué)會(huì )檢索文獻也是比較重要的，通過(guò)以上的搜索引擎進(jìn)行檢索，這也是不少留學(xué)生與老師常用的，對于搜索引擎而言，當然，谷歌檢索是比較完善的。下面是小編搜集整理的留學(xué)生畢業(yè)論文寫(xiě)作時(shí)可以利用哪些學(xué)術(shù)搜索引擎檢索文獻？，歡迎大家閱讀參考。

　　搜索引擎檢索文獻：Google學(xué)術(shù)搜索

　　在國際有不少先生以為Google學(xué)術(shù)搜索運用不方便，尤其是與百度比擬。次要還是國際打不開(kāi)Google形成的，之前曾經(jīng)詳細解說(shuō)如何在國際翻開(kāi)google的方式，而這次次要是針對留先生論文參考學(xué)術(shù)搜索的成績(jì)。先生們可以本人試試。Google學(xué)術(shù)搜索濾掉了普通搜索后果中少量的渣滓信息，陳列出文章的不同版本以及被其它文章的援用次數。在國際搜索出來(lái)的，前幾頁(yè)能夠大局部爲中文的.一些期刊的文章。

　　搜索引擎檢索文獻：百度學(xué)術(shù)搜索

　　收錄國際外學(xué)術(shù)站點(diǎn)超越70萬(wàn)家,如中文學(xué)術(shù)站點(diǎn)知網(wǎng)、萬(wàn)方、維普,外文學(xué)術(shù)站點(diǎn)acm、IEEE、springer等,合計收錄中外文學(xué)術(shù)資源總量逾2億,中文超1.5億,外文超1億。不過(guò)和谷歌一樣，只是后果出現，大局部無(wú)法下載。

　　搜索引擎檢索文獻：讀秀學(xué)術(shù)搜索

　　讀秀學(xué)術(shù)搜索是全球最大的中文文獻資源效勞平臺。它集文獻搜索、試讀、文獻傳遞、參考征詢(xún)等多種功用爲一體，爲用戶(hù)提供切入目錄和全文的深度檢索，以及局部文獻的全文試讀。

　　搜索引擎檢索文獻： Find articles

　　一個(gè)檢索收費paper的好工具。進(jìn)入網(wǎng)頁(yè)當前，可以看到他有三個(gè)功用，driectory web article ，其中article對我們很有協(xié)助，你可以嘗試輸出你要找的文章，會(huì )有很多發(fā)現的，提供多種頂極刊物的上千萬(wàn)篇論文。

　　論文寫(xiě)作之前，至少應當占有如下5個(gè)方面的材料：

　　第1，第1手資料。第1手資料包括與論題直接有關(guān)的文字材料、數字材料(包括圖表)，譬如：統計材料、典型案例、經(jīng)驗總結等等，還包括自己在親自實(shí)踐中取得的感性材料。這是論文中提出論點(diǎn)、主張的基本依據。沒(méi)有這些資料，撰寫(xiě)的畢業(yè)論文就只能成為毫無(wú)實(shí)際價(jià)值的空談。對第1手資料要注意及早收集，同時(shí)要注意其真實(shí)性、典型性、新穎性和準確性。

　　第2，他人的研究成果。這是指國內外對有關(guān)該課題學(xué)術(shù)研究的最新動(dòng)態(tài)。撰寫(xiě)畢業(yè)論文不是憑空進(jìn)行的，而是在他人研究成果的基礎上進(jìn)行的，因此，對于他人已經(jīng)解決了的問(wèn)題就可以不必再花力氣重復進(jìn)行研究，人們可以以此作為出發(fā)點(diǎn)，并可以從中得到有益的啟發(fā)、借鑒和指導。對于他人未解決的，或解決不圓滿(mǎn)的問(wèn)題，則可以在他人研究的基礎上再繼續研究和探索。切忌只顧埋頭寫(xiě)，不管他人研究，否則，撰寫(xiě)的畢業(yè)論文的理性認識會(huì )遠遠低于前人已達到的水平。

　　第 3，邊緣學(xué)科的材料。當今時(shí)代是信息時(shí)代，人類(lèi)的知識體系•呈現出大分化大融合的狀態(tài)，傳統學(xué)科的鴻溝分界逐漸被打破了，出現了令人眼花繚亂的分支學(xué)科及邊緣學(xué)科。努力掌握邊緣學(xué)科的材料，對于所要進(jìn)行的學(xué)科研究，課題研究大有好處。它可以使我們研究的視野更開(kāi)闊，分析的'方法更多樣。譬如研究經(jīng)濟學(xué)的有關(guān)課題，就必須用上管理學(xué)、社會(huì )學(xué)、心理學(xué)、人口學(xué)等學(xué)科的知識。大量研究工作的實(shí)踐表明，不懂1些邊緣學(xué)科知識，不掌握1些邊緣學(xué)科的材料，知識面和思路狹窄是很難撰寫(xiě)出高質(zhì)量的論文的。

　　[1] 王�，�. 淺析搜索引擎技術(shù)及技巧[J]電腦知識與技術(shù), 2005,(21) .

　　[2] 彭波,李曉明. 搜索引擎倒排文件的一種分塊組織技術(shù)[J]電子學(xué)報, 2005,(02) .

　　[3] 黃強. 搜索引擎技術(shù)研究[J]計算機與現代化, 2004,(11) .

　　[4] 林彤,江志軍. Internet的搜索引擎[J]計算機工程與應用, 2000,(05) .

　　[5] 黃西安. 利用“百度”搜索網(wǎng)絡(luò )信息資源[J]科技情報開(kāi)發(fā)與經(jīng)濟, 2005,(04) .

　　[6] 陳新明,鐘濤,萬(wàn)鈞,吳杰,張世永. WWW搜索引擎的數據采集技術(shù)[J]計算機工程與應用, 2002,(07) .

　　[7] 都云程,盧獻華. 中文搜索引擎現狀與展望[J]中文信息學(xué)報, 1999,(03) .

　　[8] 丁承,邵志清. 基于字表的'中文搜索引擎分詞系統的設計與實(shí)現[J]計算機工程, 2001,(02) .

　　[9] 刁倩,張惠惠,王永成. Internet上的英文搜索引擎[J]計算機工程, 1999,(07) .

　　[10] 陸興. 八個(gè)著(zhù)名中文搜索引擎的特征及其評析[J]圖書(shū)館理論與實(shí)踐, 2003,(02) .

更多相關(guān)參考文獻內容：

關(guān)于網(wǎng)絡(luò )經(jīng)濟對現代企業(yè)的影響文獻

　　哪些 搜尋引擎充沛地公然了它們付費 排名以及付費收錄的實(shí)際操作法子？哪些搜尋引擎沒(méi)做這些工作？1份新講演講述了1些不為人知的內容。

　　在昨天的SearchDay中，我介紹了1份來(lái)自于消費者網(wǎng)絡(luò )察看的新講演，它詳細闡述了大多數走訪(fǎng)量至多的搜尋站點(diǎn)內情的實(shí)際操作法子。這兒再詳細地討論1下在講演中提到的關(guān)于搜尋引擎的1些發(fā)現。

　　對于此調查，網(wǎng)絡(luò )察看客戶(hù)講演評估了一五家主要的搜尋引擎，這些站點(diǎn)是從網(wǎng)站流量統計公司Nielsen//Net Ratings 二00三年一二份排名中走訪(fǎng)量至多的公司當選擇的。這些搜尋引擎是：一stBlaze、 Altavista 、 AOL Search、 ASK Jeeves、 CNET的 Search.com、 Google、 InfoSpace Web Search、 Lycos Network、 MSN Search、 My Search、 My Way Search、 Netscape Search、 Overture、 Web Search以及 Yahoo! Search。

　　客戶(hù)網(wǎng)絡(luò )察看雇用了4位圖楣芾碓狽直鴯鄄?五個(gè)站點(diǎn)中的每一個(gè)站點(diǎn)，并將結果反饋到1個(gè)專(zhuān)門(mén)設計的用來(lái)衡量付費排名以及付費收錄清晰顯著(zhù)的內情的調查表中。實(shí)際的測試是在二00四年四月二九 以及五月四日之間進(jìn)行的，我昨天已經(jīng)經(jīng)提到，許多搜尋引擎已經(jīng)經(jīng)從那個(gè)時(shí)候開(kāi)始扭轉了結果網(wǎng)頁(yè)或者者更改了內情信息。

　　摘要：網(wǎng)絡(luò )教學(xué)資源服務(wù)對象包括教師、學(xué)生、社會(huì )培訓者等，其對應多種學(xué)科、類(lèi)別，資源數量較大，用戶(hù)需要通過(guò)搜索獲取所需的特定資源，因此如何提高資源搜索的性能和實(shí)用性就十分重要。文章主要針對網(wǎng)絡(luò )教學(xué)資源的搜索性能、實(shí)用性進(jìn)行搜索增強研究。

　　關(guān)鍵詞：教學(xué)資源；搜索增強；性能；實(shí)用性

　　伴隨著(zhù)網(wǎng)絡(luò )技術(shù)的不斷發(fā)展，教育對教學(xué)資源建設的重視，為網(wǎng)絡(luò )教學(xué)資源庫的建設提供了契機。網(wǎng)絡(luò )教學(xué)資源服務(wù)的對象包括：教師、學(xué)生、社會(huì )培訓者等，其對應多種學(xué)科、類(lèi)別，資源數量較大。用戶(hù)對資源的需求不一樣，需要通過(guò)搜索獲取所需的特定資源，因此如何提高資源搜索的性能、實(shí)用性是網(wǎng)絡(luò )教學(xué)資源庫開(kāi)發(fā)所需要解決的一個(gè)重要問(wèn)題。本文主要針對網(wǎng)絡(luò )教學(xué)資源搜索的性能、實(shí)用性進(jìn)行增強研究。

　　1搜索性能增強策略研究

　　1.1使用索引提高搜索性能

　　索引是對列值進(jìn)行排序的一種結構，正確地利用索引能夠加快對數據表相應信息的訪(fǎng)問(wèn)［1］。索引雖然能夠提高數據的檢索性能，但是也提高了數據維護的成本。因此，要合理使用索引，在創(chuàng )建索引前，需要確定使用哪些列和要創(chuàng )建的索引類(lèi)型。索引包括聚集索引和非聚集索引［2］。聚集索引適用于含有大量的不重復值的列、可用于范圍值計算的列、結果集較大的查詢(xún)及經(jīng)常使用連接或分組的列，非聚集索引中鍵值邏輯順序和物理順序沒(méi)有關(guān)系。將主鍵設置為聚集索引并非最佳方案，在教學(xué)資源庫中資源編號是標記列且設為主鍵，會(huì )把資源編號設置成聚集索引。在實(shí)際應用中，并不會(huì )針對資源編號進(jìn)行搜索，這就導致讓資源編號作為聚集索引是不正確的選擇。其次，資源編號都不相同，也不符合“很多數據不同值的列不應該設置聚合索引”的規則。下面以在1000萬(wàn)條數據量的資源信息表中查詢(xún)近180天的資源信息速度為例（180天內的資源信息數據為30萬(wàn)條，數據通過(guò)程序生成，供測試使用），其分析如表1所示。表1索引設置與用時(shí)對比索引設置用時(shí)（毫秒）只在主鍵（資源編號）上設置聚集索引129652主鍵（資源編號）上設置聚集索引，日期上設置非聚集索引54128在發(fā)布日期（vDate）上建立聚集索引2446通過(guò)上述的數據分析，正確地建立聚集索引是十分有必要的。必須根據實(shí)際中的應用范圍和數據本身的構成來(lái)確定聚集索引，而非固定使用默認的主鍵作為聚集索引。

　　對于少于 1 000 人的企業(yè)單位，60% 的員工認為在企業(yè)信息化平臺中找到自己想要的數據是非常困難的。

　　而在公司人數超過(guò) 1 000 人的情況下，認為獲取不到自己想要數據的員工竟然達到公司人數的 77%.因此，企業(yè)的規模越大，企業(yè)的人數越多，企業(yè)信息化平臺中產(chǎn)生的數據量就越多，員工查找信息就更加困難。根據調查顯示，對于少于 1 000 人的企業(yè)里，有 67% 的員工認為找到所需的信息對企業(yè)的發(fā)展是有影響的，而對于多于 1 000 人的企業(yè)中，這個(gè)數字竟然高達 89%.在大中型企業(yè)中，每天有 70% 的員工耗費 1 ~ 2 小時(shí)來(lái)查找所需要的信息，加大了企業(yè)的成本，尤其是用戶(hù)想要查看已經(jīng)離職員工之前記錄的.信息，由于人員已經(jīng)離開(kāi)，想要查找對應信息的難度加大，搜索耗費的時(shí)間就更長(cháng)。

　　傳統企業(yè)搜索引擎雖然在一定程度上已經(jīng)解決該問(wèn)題。然而，不同角色的用戶(hù)有著(zhù)不同的需求，例如，財務(wù)角色的用戶(hù)和銷(xiāo)售角色的用戶(hù)對于相同的查詢(xún)詞會(huì )有不同的需求。本文提出采用卡方的方法進(jìn)行角色信息的分析，使不同角色的用戶(hù)雖采用相同的查詢(xún)詞，但得到與其角色更相關(guān)的信息。

　　1 基于卡方的角色分析理論

　　企業(yè)內部每個(gè)用戶(hù)在不同系統中的職位不一樣，對于相同角色下的用戶(hù)，偏好可能相同，如角色 A 下的用戶(hù)關(guān)注財務(wù)信息，經(jīng)常搜索和點(diǎn)擊財務(wù)方面的數據。當角色 A 下的其他用戶(hù)搜索時(shí)，如果查詢(xún)詞跟 A 輸入的查詢(xún)詞相關(guān)時(shí)，根據 LUCENE,獲取文檔應排在后面，但根據角色信息，角色 A 下的用戶(hù)點(diǎn)擊過(guò)多的文檔應排在前面，這樣就隱含地為用戶(hù)推送了相關(guān)文檔。針對這個(gè)可能性，進(jìn)行角色分析�！�1】

　　1.模型建立

　　本文采用模糊推理來(lái)評估各機型的整體性能。設計步驟如下：

　　第一步，確定輸入輸出，選擇語(yǔ)言變量，實(shí)現搜索飛機的性能參數模糊化。以速度和傳感器搜索直徑作為輸入變量構成的模糊推理機為例，速度v 用語(yǔ)言變量為：低速、中速、高速、超高速;搜索直徑用語(yǔ)言變量為：很小范圍、小范圍、中范圍、大范圍;輸出是搜索飛機的性能評估指數c，用5 個(gè)語(yǔ)言變量為：弱、較弱、中等、較強、強。

　　第二步，確定每個(gè)語(yǔ)言變量的隸屬度函數。搜索飛機速度，搜索范圍和搜索飛機的性能評估指數的隸屬度函數。

　　第三步，設計模糊推理規則庫，選擇模糊推理機。建立速度—搜索范圍推理規則。當搜索飛機的速度越大，傳感器搜索范圍越大時(shí)，搜索飛機的性能評價(jià)越高，分配給它的區域面積也就越大。

　　同理，按照上述方法可以設計出航程—搜索范圍推理機、續航時(shí)間—搜索范圍推理機。共3 個(gè)左層單模糊推理器，每個(gè)模糊推理器的推理結果是一個(gè)依據輸入變量從而得到搜索飛機的性能評估指數，3層推理器得到3 個(gè)性能評估指數(c1,c2,c3)。

　　然后， 利用模型1 中的數據依次求出各機型3 個(gè)性能評估指數。

　　其中，cji (i=1,2,...7,j=1,2,3)為第 種機型對應的第j 個(gè)性能評估指數。

　　第四步，對矩陣C 的數據進(jìn)行融合處理，得到3 個(gè)模糊推理器的綜合模糊輸出，數據融合采用乘積的形式。

　　第五步， 對數據融合和歸一化的結果即為搜索飛機性能評價(jià)數值結果pi。

　　1COSPAS/SARSAT搜索系統

　　現如今已經(jīng)正在使用的這個(gè)野生事故搜索系統重點(diǎn)就是一個(gè)全球搜索以及救援的這個(gè)系統。這個(gè)系統是由這個(gè)加拿大以及這個(gè)法國還有美國和前蘇聯(lián)聯(lián)合開(kāi)發(fā)的一個(gè)全球衛星搜索的系統,這是由國際海事衛星組織一個(gè)重要的全球海上遇險以及這個(gè)安全系統的一部分。系統使用一個(gè)較低的衛星作為世界上的土地,海上和空中救援通道,并且能夠提供遇險警報以及這個(gè)位置信息來(lái)自世界各地的救援部門(mén)救援定位服務(wù),為了讓這些遇到危險的人能夠有一個(gè)及時(shí)有效的救濟。全球搜索以及這個(gè)救援體系主要是通過(guò)燈塔還有這個(gè)空間衛星以及地面處理子系統三部分組合而成的。顯示是燈塔,衛星傳感器獨立工作以及這個(gè)在標準分為三種類(lèi)型:包括有飛機與緊急發(fā)射機以及這個(gè)海上應急位置指示標志,還有我們個(gè)人在標準位置。在人員遇到危險的時(shí)候，這個(gè)燈塔通過(guò)人工可以影響自動(dòng)激活,如燈塔水只能激活后48小時(shí)的工作。顯示系統通過(guò)燈塔406MHZ頻段衛星發(fā)射遇險報警信號,通過(guò)衛星和轉發(fā)到地面子系統,其中包括用戶(hù)終端站和搜救任務(wù)控制中心在地面上,然后通過(guò)X.25網(wǎng)絡(luò )傳遞到相應的遇險搜救協(xié)調中心等領(lǐng)域,并提供及時(shí)的一個(gè)救濟。

　　2基于短距離通信技術(shù)的無(wú)人機搜索系統

　　研究領(lǐng)域搜索國內外事故,現場(chǎng)人員遇險救援后,快速并且準確地搜索以及這個(gè)位置信息稱(chēng)為第一個(gè)成功救援的關(guān)鍵�，F有搜索技術(shù),對于無(wú)人駕駛飛行器(無(wú)人機)搜索系統以及這個(gè)COSPAS/SARSAT系統進(jìn)行了有一個(gè)比較全面的分析,依據這個(gè)現有的無(wú)人機的一個(gè)問(wèn)題搜索技術(shù),使用的短距離的這樣無(wú)線(xiàn)通信技術(shù)的優(yōu)勢,對景區旅游地質(zhì)勘探隊伍,專(zhuān)業(yè)的團隊以及其他特殊領(lǐng)域,探究了適用于平原還有這個(gè)山脈以及森林、地形和地貌的無(wú)人駕駛飛行器(無(wú)人機)搜索系統基于短距離的這樣一種無(wú)線(xiàn)通信技術(shù)。當研究人員進(jìn)入現場(chǎng),需要注冊人員的一個(gè)身份證信息是,我們的行政部門(mén)發(fā)布救援燈塔匹配救援信息。并且這個(gè)行政部門(mén)的一個(gè)中央計算機經(jīng)過(guò)有線(xiàn)或者是無(wú)線(xiàn)網(wǎng)絡(luò )將救援的一個(gè)信息以及匹配緊急信標機識別號碼存儲在后臺數據庫服務(wù)器,因此，當人們在遇到危險的時(shí)候,能夠得到及時(shí)從后端服務(wù)器快速不幸地發(fā)現救援的這個(gè)信息以及相應的信標機號碼在另一方面,當人們順利返回到這個(gè)野外過(guò)程中,管理需要注冊已經(jīng)安全返回人員身份識別信息以及這個(gè)識別信息。