最新計算機畢業(yè)設計開(kāi)題報告的論文

　　一、課題研究背景

　　1.國內外的研究現狀

　　目前國內外實(shí)現的手語(yǔ)識別系統主要分為基于傳感器的系統識別和基于圖像處理的識別系統。利用傳感器識別的系統就是利用空間加速度和角速度這兩個(gè)參數來(lái)進(jìn)行的，當信息量比較大時(shí)，能更方便的獲取到數據；缺點(diǎn)是需要在手臂上裝置大量裝置在表達上帶來(lái)了不便性�；�于圖像的視覺(jué)識別是用攝像機采集手勢信息進(jìn)行識別的技術(shù)。這種方式的優(yōu)點(diǎn)是動(dòng)作的識別更加自然，缺點(diǎn)是圖像處理識別時(shí)容易受到環(huán)境的干擾。

　　手勢識別領(lǐng)域的研究在國外要比國內早，國內最早開(kāi)始研究手勢手語(yǔ)的識別是哈工大團隊提出了將多種手勢識別算法融合的方法，這種方法在分類(lèi)時(shí)特征和模型的參數都很少，但這種技術(shù)對手語(yǔ)手勢的識別在那個(gè)年代取得了良好的識別效果，通過(guò)將神經(jīng)網(wǎng)絡(luò )和 HMM 算法相結合，使系統對簡(jiǎn)單靜態(tài)手語(yǔ)的識別率達到百分之八十以上。隨著(zhù)技術(shù)的發(fā)展，人們將GMM模型運用到手

　　語(yǔ)識別系統中，通過(guò)這種方法對手語(yǔ)識別得到的結果更好。2009 年，南開(kāi)大學(xué)的李國峰等人研發(fā)了基于MEMS加速度傳感器的簡(jiǎn)單輸入系統，該系統也為自熱的人機交互研究開(kāi)啟了新理念。2011年華中師范大學(xué)團隊開(kāi)始了基于加速度傳感器手語(yǔ)識別研究，對預設的八種手勢進(jìn)行識別，其識別率達到了85.3%.2013年，清華研究團隊利用SEMG信號去識別手臂和手指動(dòng)作采用多電極陣列獲取SEMG信號，雖然實(shí)用性不是很強，識別率不是很高，但是在該領(lǐng)域的探索研究，做出了大量的探索工作。2014年，由于傳感器的手勢識別領(lǐng)域的快速發(fā)展，國內學(xué)者張欣和陳勛等人將傳感器技術(shù)與生理信號相互結合，構建了手勢識別系統的遠程醫療系統，該系統研發(fā)為識別領(lǐng)域注入了新的血液，使得國內對相關(guān)領(lǐng)域的研究更加熱衷起來(lái)。

　　2.課題研究的意義

　　根據世衛組織最近的一項報道表明，在全球有6億多的殘疾人，其中就聾啞人占殘疾人口的10%.截止到2013年末，中國殘疾人的數量已經(jīng)占到全國總人口數的百分之六，是世界上殘疾人最多的國家。在這些殘疾人當中，具有聽(tīng)力障礙的人占33%,人數大約為2780萬(wàn)，這些人中只有少部分人只有聽(tīng)力或語(yǔ)言障礙，而大多數人完全失去了與健康人類(lèi)正常溝通的能力，手語(yǔ)則是它們唯一的交流方式。對于健康的人們來(lái)說(shuō)，除一些專(zhuān)業(yè)人士外大部分人并不能理解手語(yǔ)的含義，那么將手語(yǔ)轉換成聲音和圖像并被人們輕易理解就變得很有實(shí)用價(jià)值。這將清除它們與社會(huì )交流的障礙為它們融入到有聲世界提供了很大的幫助。手勢手語(yǔ)是將人體產(chǎn)生的動(dòng)作賦予了特定的含義且高度的結構化后的集中體現。

　　.它主要是由人的手勢決定也會(huì )有一些面部表情進(jìn)行輔助，因此我們要對手語(yǔ)進(jìn)行識別，首先必須要弄清手勢含義，目前很多對手語(yǔ)的識別是依靠計算機視頻識別來(lái)實(shí)現的。自上世紀九十年代以來(lái)，計算機技術(shù)得到迅猛發(fā)展已經(jīng)深入到生活的方方面面之中影響迅速擴大，而且在日常生活中多模態(tài)接口技術(shù)已經(jīng)變得越來(lái)越普遍。雖然傳統鼠標和鍵盤(pán)隨著(zhù)計算機技術(shù)飛速發(fā)展而變得越來(lái)越先進(jìn)，但是由于人的需求也在發(fā)生著(zhù)很大的變化，這些傳統設備也逐漸凸顯出了它們的局限性，在虛擬現實(shí)和人機交互上這種限制是有著(zhù)明顯的表現。人機交互中手勢是輸入和輸出的非常重要的方式，所以手勢識別是多模式接口技術(shù)的一個(gè)重要部分。

　　隨著(zhù)技術(shù)的不斷革新，用戶(hù)對傳統計算機的要求已經(jīng)不僅僅局限在便利性和人機交互的方面，導致傳統設備在人機互動(dòng)方面已經(jīng)無(wú)法滿(mǎn)足用戶(hù)的需求。而手勢識別就是解決高人工智能領(lǐng)域的局限性問(wèn)題的，它作為多模式人機接口技術(shù)已成為當前計算機技術(shù)繼續深入研究的方向，能使通信在人機交互界面技術(shù)上使用的更加自然和諧，手勢識別最接近的就是手語(yǔ)識別，對它的研究涉及心理學(xué)、人工智能、計算機視覺(jué)等多領(lǐng)域的學(xué)科研究，而且作為日常生活中溝通的一種方式已開(kāi)始受到大批專(zhuān)家和學(xué)者的關(guān)注，并在手勢識別研究方向開(kāi)始投入大量科研經(jīng)費和精力，由于手勢手臂本身較為復雜而且它的時(shí)間和空間差異使得手勢識別已經(jīng)成為一個(gè)具有挑戰性的多學(xué)科交叉融合的研究課題。

　　二、課題研究?jì)热?/strong>

　　1.手勢的表示

　　手勢表示通常是利用手勢模型和模型參數來(lái)表示的，所以在識別手勢的時(shí)候首先要要對手勢建模，識別是根據手勢表示內容而選取手勢特征量與模型匹配，由于環(huán)境文化和地區的不同會(huì )導致了手勢的差異，可能會(huì )有使用不同的表達方式，所以手勢通常是一個(gè)不太明確的概念，有時(shí)手勢表達的含義在不同情景下承載的信息是不同的。比如不同地區表示暫停的時(shí)候是左手在上右手在下，而其它地方可能就是右手在上左手在下。

　　本文設計的關(guān)鍵是對手勢的建模訓練，尤其是對待識別的手勢的確定。具體的應用決定了采用什么樣的手勢模式，只有建立準確的手勢模型才能利用算法進(jìn)行對識別到的手勢做出正確反饋。通常手勢建模和手勢識別所使用到的方法是相異的，采集手勢特征數據的方法也不一樣。目前基于數據手套的特征捕獲方法是比較常用的采集數據信息的方式，通過(guò)選擇相應的識別算法實(shí)現手勢的識別反饋。

　　2.常用手勢識別算法分析

　　2.1人工神經(jīng)網(wǎng)絡(luò )算法

　　這種算法還具有抗干擾能力和容錯性強識別速度快等優(yōu)點(diǎn)，它能把預處理和識別的過(guò)程同時(shí)進(jìn)行處理。在目前的識別領(lǐng)域中，運用的比較多的神經(jīng)網(wǎng)絡(luò )是誤差反向傳播神經(jīng)網(wǎng)絡(luò )（簡(jiǎn)稱(chēng)網(wǎng)絡(luò )）。 BP 神經(jīng)網(wǎng)絡(luò )結構圖算法是一種有監督式的學(xué)習算法，它由三部分構成輸入層、中間層（也叫隱藏層）和輸出層，其中的輸入層和輸出層的神經(jīng)元節點(diǎn)是固定的數目，兩層之間存在從輸入層到輸出層的前饋連接和輸出層至輸入層的反饋連接，只有隱藏層的神經(jīng)元是可以自由定義的。

　　在人際交互識別領(lǐng)域中應用神經(jīng)網(wǎng)絡(luò )算法進(jìn)行手勢的識別時(shí)首先需要有自己的數據庫系統，再對采集到的手勢數據序列進(jìn)行算法的訓練，使用訓練好的網(wǎng)絡(luò )去識別輸入的手勢數據信息數據的含義即達到識別手勢的目的，識別到后經(jīng)由計算處理以實(shí)現人機交互的目的。神經(jīng)網(wǎng)絡(luò )的優(yōu)點(diǎn)是抗干擾性和容錯能力強，缺點(diǎn)是訓練量比較大，擴充性不強對時(shí)序建模能力差，無(wú)法有效處理動(dòng)作的速率帶來(lái)的問(wèn)題。

　　2.2動(dòng)態(tài)時(shí)間規整

　　動(dòng)態(tài)時(shí)間規整曾是語(yǔ)音識別的一種主流方式，它是一種將時(shí)間歸整與距離測度結合起來(lái)的非線(xiàn)性正則化的技術(shù)，算法是建立一套科學(xué)的時(shí)間校準匹配路徑將測試模式和參考模式建立起聯(lián)系的算法。

　　DTW的算法主要利用的動(dòng)態(tài)編程技術(shù)（Dynamic Programming, DP）去實(shí)現，它的算法實(shí)現是將全局的優(yōu)化分化成眾多的局部最優(yōu)化。所以在使用算法的時(shí)候需要將各局部最優(yōu)化，已達到全部的最優(yōu)化。

　　在DTW算法中由于容易實(shí)現和數據的訓練簡(jiǎn)單等優(yōu)點(diǎn)被用在語(yǔ)音識別中廣泛應用，但在手勢識別領(lǐng)域由于其運算量太大和較弱的抗噪能力，很難達到對手勢識別的實(shí)時(shí)性的要求。

　　2.3特征選擇

　　手勢識別本質(zhì)上是對手勢進(jìn)行多分類(lèi)任務(wù)，在實(shí)際的實(shí)驗測試過(guò)程中，能夠準確區分手部狀態(tài)是進(jìn)行手勢識別任務(wù)的前提條件，且對后續的分類(lèi)以及檢測等任務(wù)的精準度至關(guān)重要。

　　比如在進(jìn)行圖像識別過(guò)程中，對拍攝到的圖像進(jìn)行特征提取是判別手勢的第一步，特征性質(zhì)的優(yōu)劣是后續進(jìn)行圖像信息處理的關(guān)鍵，對采集到的數據進(jìn)行特征提取，提取過(guò)程中如果特征過(guò)于簡(jiǎn)單就會(huì )造成對圖像信息的提取不全，導致最后的判別精確度較低的問(wèn)題不能滿(mǎn)足手勢識別對人體手勢識別高精確度的要求，而如果不考慮提取到的特征維度問(wèn)題，容易造成數據維度災難現象即產(chǎn)生大量的特征數據使計算機無(wú)法短時(shí)間進(jìn)行處理，這樣不能滿(mǎn)足手勢識別對于現場(chǎng)實(shí)時(shí)性的要求。

　　因為在三維空間中執行的手勢是動(dòng)態(tài)的，采集到的加速度和姿態(tài)角的數據也是實(shí)時(shí)變化的，所以對于手勢識別的數據是由內嵌在手套中的兩個(gè)六軸陀螺儀加速度傳感器產(chǎn)生的，當手部移動(dòng)時(shí)會(huì )產(chǎn)生加速度，角速度姿態(tài)角等實(shí)時(shí)數據信息，處理器通過(guò)對傳感器識別的運動(dòng)數據進(jìn)行采集計算最終識別手勢的動(dòng)作。

　　三、實(shí)驗結果測試與分析

　　1.實(shí)驗手勢

　　本章主要內容是根據前面內容進(jìn)行試驗，通過(guò)實(shí)驗驗證可穿戴智能手套翻譯器能夠使用改進(jìn)型的識別算法提高手勢的識別率和識別精度。

　　為驗證嵌入式系統對手勢手語(yǔ)識別的可行性，在進(jìn)行試驗時(shí)候從準備好的手勢模型中各取四個(gè)進(jìn)行手勢識別試驗。開(kāi)始手勢表達時(shí)要按箭頭的方向做軌跡，同時(shí)要求一次性完成動(dòng)作，不能在動(dòng)作執行時(shí)有停頓，做完每一個(gè)手勢都要停頓一定時(shí)間。

　　2.實(shí)驗過(guò)程及數據統計

　　本文所采取的實(shí)驗方法及過(guò)程如下：

　　首先，實(shí)驗所用的手勢模板是已經(jīng)定義好了的手勢集合，實(shí)驗時(shí)從中選取定義好的手勢集。

　　其次，從手勢集合中選取部分手勢進(jìn)行算法識別，在這個(gè)過(guò)程中逐漸將訓練樣本數量由少到多增加，觀(guān)察樣本數量對識別率的影響。

　　最后，使用改進(jìn)型算法對手勢進(jìn)行識別，同樣將樣本數量逐漸增多，觀(guān)察樣本數量對手勢識別率的影響，將兩種算法識別的結果進(jìn)行對比，比較識別率。

　　整個(gè)識別的流程通常是由以下幾步完成的：系統的初始化、檢測動(dòng)作的狀態(tài)是否開(kāi)始、記錄數據集、檢測動(dòng)作是否結束，模型對比和識別結果，實(shí)驗的流程圖如圖所示。

　　識別動(dòng)作時(shí)最重要的是準確判斷手勢的開(kāi)始時(shí)刻，因為每一個(gè)手勢動(dòng)作通�？赡軙�(huì )連續擺動(dòng)來(lái)表達含義，所以在進(jìn)行動(dòng)作識別時(shí)需要采集傳感器信息加速度的變化去判斷是否為開(kāi)始信號，過(guò)程是傳感器采集到數據時(shí)判斷是否開(kāi)始，若是開(kāi)始信號則開(kāi)始轉換數據進(jìn)行對手勢的識別，當傳感器停止傳輸數據時(shí)則表動(dòng)作結束同時(shí)語(yǔ)音播放。

　　根據實(shí)驗結果可知手勢識別率總體上是隨著(zhù)樣本的訓練次數增加有微量上升，因此再一次增加樣本的訓練次數進(jìn)行實(shí)驗對比，來(lái)確認訓練的樣本數對識別率的影響，分別選用經(jīng)過(guò)次和次訓練的手勢，總體上手勢的識別率是隨著(zhù)樣本訓練次數的增加而略有提升，不過(guò)達到一定程度之后識別率就基本保持了穩定。

　　四、研究步驟：

　　x年x月-x年x月，收集資料，建立模型

　　x年x月-x年x月，開(kāi)發(fā)軟件

　　x年x月-x年x月，教學(xué)試驗，評價(jià)修改

　　x年x月-x年x月，擴大試驗，歸納總結

　　五、參考文獻

　　[1]李強，張然，鮑國東，姜海燕。聾人大學(xué)生心理健康狀況及相關(guān)因素分析[J].中國特殊教育，2004,02:69-72.

　　[2]陸德陽(yáng)。殘疾人與近代中國殘疾人事業(yè)的發(fā)展[J] .齊魯學(xué)刊，2012,06:55-58.

　　[3]王丹蕾，聶桂平。手語(yǔ)翻譯設備的發(fā)展現狀及未來(lái)趨勢[J].設計，2016,（19）：115-117.

　　[4]晶茹，劉麗娜。商務(wù)溝通中口譯人員的跨文化意識培養[J].學(xué)周刊，2017,01:217-219.

　　[5]賈建鋒，潘夢(mèng)佳，馬可心。發(fā)達國家本科招生制度經(jīng)驗借鑒與啟示--基于美國、英國和日本的多案例研究[J].重慶理工大學(xué)學(xué)報（社會(huì )科學(xué)），2016,11:118-125.

　　[6]李金，宋陽(yáng)，梁洪。語(yǔ)言殘障患者醫療輔助系統設計[A].中國儀器儀表學(xué)會(huì )。第九屆全國信息獲取與處理學(xué)術(shù)會(huì )議論文集Ⅱ[C].中國儀器儀表學(xué)會(huì )，2011:4.

　　[7]孟繁玲。我國手語(yǔ)翻譯專(zhuān)業(yè)教育的現狀、問(wèn)題及對策[J].中州大學(xué)學(xué)報，2013,（03）：87-90.

　　[8]劉卓璇。國內聾人高校課堂手語(yǔ)翻譯問(wèn)題與對策[J].中州大學(xué)學(xué)報，2014,（06）：61-63.

　　[9]賈建鋒，潘夢(mèng)佳，馬可心。發(fā)達國家本科招生制度經(jīng)驗借鑒與啟示--基于美國，英國和日本的多案例研究[J].重慶理工大學(xué)學(xué)報（社會(huì )科學(xué)），2016,11:118-12.

　　[10]HUANG G,BAI Z,KASUN L, et al.Local receptive fields based extremelearning machine[J].IEEE Computational Intelligence Magazine,2015,10（2）：18-29.

　　[11]王衛民，賀冬春。自然手語(yǔ)翻譯器系統設計和實(shí)現[J].無(wú)線(xiàn)互聯(lián)科技，2015,（15）：41-42.