激情欧美日韩一区二区,浪货撅高贱屁股求主人调教视频,精品无码成人片一区二区98,国产高清av在线播放,色翁荡息又大又硬又粗视频

小議3D 視頻編碼傳輸技術(shù)

時(shí)間:2024-09-19 12:42:55 電子信息工程畢業(yè)論文 我要投稿
  • 相關(guān)推薦

小議3D 視頻編碼傳輸技術(shù)

 

  1 引言

  隨著(zhù)網(wǎng)絡(luò )技術(shù)和視頻編解碼技術(shù)的進(jìn)步,視頻和多媒體業(yè)務(wù)得到了廣泛的應用。對這類(lèi)業(yè)務(wù)人們不只追求畫(huà)面的高清晰度,業(yè)務(wù)的實(shí)時(shí)性,更提出了在二維平面的顯示設備上滿(mǎn)足現實(shí)感、臨場(chǎng)感、立體感的要求。這種現實(shí)感和立體感正是3D 視頻技術(shù)需要解決的問(wèn)題。
  3D 立體感是人眼視覺(jué)的重要功能之一,人雙眼的平均瞳距約為65 mm,當兩眼從稍微不同的兩個(gè)角度去觀(guān)察客觀(guān)三維世界的景物時(shí),與觀(guān)察者不同距離的景物由于光學(xué)投影的原因會(huì )在左、右兩眼視網(wǎng)膜上形成不同的位置的像。這種兩眼視網(wǎng)膜上位置差就稱(chēng)為雙眼視差,它反映了客觀(guān)景物的深度。人眼的深度感即立體感就是因為有了這個(gè)視差,再經(jīng)大腦加工而形成的,F有的3D 視頻技術(shù)正是基于上述原理,通過(guò)技術(shù)手段還原人們對客觀(guān)景物的深度感知從而達到3D 立體的效果。
  3D 視頻技術(shù)誕生以來(lái)便備受關(guān)注,然而由于3D 視頻占用大量帶寬并且觀(guān)看時(shí)容易疲勞等原因,3D 視頻技術(shù)一直沒(méi)有在市場(chǎng)上引發(fā)大規模商用,僅僅定位于所謂的利基市場(chǎng),應用在專(zhuān)業(yè)領(lǐng)域(科學(xué)模擬、醫療)和娛樂(lè )領(lǐng)域(立體電影、3D 游戲)。近年來(lái)由于大量科研力量的投入,技術(shù)上的進(jìn)步拓展了3D 視頻技術(shù)的應用,市場(chǎng)上已經(jīng)出現了3DTV,FVV(freeview TV),3D 會(huì )議系統等較為成熟的產(chǎn)品。這些進(jìn)步使得更為多樣化的3D 視頻系統和業(yè)務(wù)應用進(jìn)入市場(chǎng)成為可能。
  不同的 3D 視頻系統有著(zhù)不同的3D 視頻表現格式,無(wú)論哪種表現格式都帶來(lái)了大量的數據需要進(jìn)行存儲,傳輸和保護。大量的數據對視頻獲取、編碼、傳輸、到3D 視頻顯示的各個(gè)處理環(huán)節都提出了技術(shù)挑戰。雖然當前網(wǎng)絡(luò )技術(shù)已經(jīng)有了很大進(jìn)步,但是帶寬仍然是很稀缺的資源,尤其在無(wú)線(xiàn)傳輸環(huán)境中無(wú)線(xiàn)終端的功率有限,高效的數據壓縮非常必要。實(shí)現高效的數據壓縮后的比特流會(huì )對信道傳輸條件十分敏感。因此,考慮到3D 視頻系統有效性和可靠性,如何實(shí)現對數據的高效壓縮編碼,如何保證數據的可靠傳輸是我們需要重點(diǎn)關(guān)注的問(wèn)題。本文將結合研究熱點(diǎn)對當前的3D 視頻編碼和傳輸技術(shù)做個(gè)概括性的介紹和比較,文章最后會(huì )對未來(lái)3D 視頻技術(shù)的發(fā)展做個(gè)展望。

  2 3D 視頻編碼技術(shù)

  2.1 傳統立體視頻編碼
  傳統立體視頻編碼是目前所知最簡(jiǎn)單的3D 視頻表示方法。這種編碼系統通過(guò)模擬人雙眼的功能獲取視頻的立體效果。首先將兩部攝像機擺放到稍有差異的位置進(jìn)行拍攝,兩部攝像機獲取的視頻信息經(jīng)過(guò)正交化,色彩糾正等處理步驟后,視頻信號直接由3D 視頻系統播放。播放之前不需要在視頻信號中添加視頻場(chǎng)景的幾何信息,各個(gè)攝像機的視頻信號可以獨立進(jìn)行編解碼。
  編碼過(guò)程使用時(shí)序預測和視頻序列間預測可以大大提高編碼效率, MPEG-2 在10 多年前就對這種方法給出了相應標準,在最新的編碼標準H.264/AVC 中也給出了類(lèi)似建議。
  這種時(shí)序預測和視頻序列間預測相結合的方式已經(jīng)成了目前立體視頻編碼的基本原則。
  傳統立體視頻的編碼對由兩幅圖像組成組成,由于觀(guān)看同一景物時(shí)視角稍有差異,兩幅圖像有很大的相關(guān)性,因而非常適合壓縮編碼。也就是說(shuō),可以把圖像I1 獨立編碼,另一幅圖像P1 通過(guò)已編碼的I1 進(jìn)行預測,這種思想和時(shí)序預測編碼非常相似。
  由于左右兩個(gè)視頻序列3D 場(chǎng)景和相機參數(焦距)的一致性,對視頻編碼對的兩個(gè)圖像(如I1,P1)的編碼,可以采用同一視頻序列中兩個(gè)連續圖像預測和編碼的方法。相應的,兩個(gè)圖像(I1,P1)的差異可以當作是由于拍攝物移位而產(chǎn)生的,因此圖像的運動(dòng)估計和運動(dòng)補償可以采用差值預測和差值補償的方法。
  理想情況下,I1,P1 的差異僅僅是由視角不同引起的,實(shí)際應用中我們發(fā)現一些細節也會(huì )帶來(lái)兩者的差異。比如,出現在I1 的內容可能沒(méi)有在另一幅圖像P1 中出現,這種情況出現在I1,P1 之間的概率會(huì )大于出現在I1 和B1 之間的概率。兩個(gè)攝像機光照條件不同,拍攝物不同角度的反光也能造成圖像差異。這些都是傳統立體視頻編碼需要關(guān)注和解決的問(wèn)題。
  實(shí)踐表明,兩種預測方法相結合的編碼方式并沒(méi)有帶來(lái)編碼效率的顯著(zhù)提高,這主要因為,兩個(gè)在時(shí)間上連續的兩個(gè)圖像比空間上相鄰的兩個(gè)圖像有更大的相關(guān)性,因此引入視頻序列間的預測并不能進(jìn)一步大幅度提高編碼效率。目前傳統立體視頻編碼優(yōu)化朝著(zhù)多個(gè)方向發(fā)展,出現了很多不同的優(yōu)化算法,如優(yōu)化碼率在兩個(gè)視頻序列間分配,設計更有效的序列間預測結構等。傳統立體視頻的解碼器也大多基于最新的H.264/AVC,MPEG-4 visual 標準。
  傳統立體視頻技術(shù)相對其他編碼方法有很多缺陷,由于可再現的3D 場(chǎng)景從拍攝時(shí)就已經(jīng)確定了,圖像的深度感覺(jué)不能隨著(zhù)的3D 設備的顯示類(lèi)型和顯示尺寸做出調整,輸出的視頻角度也不能變化。這些缺點(diǎn)限制了傳統立體視頻技術(shù)的應用,在目前尚未形成立體視頻的大眾市場(chǎng)的背景下,還沒(méi)有傳統立體視頻技術(shù)達到商業(yè)化的水平。

  2.2 基于深度信息的視頻編碼(V+D)
  傳統立體視頻系統通過(guò)模擬人類(lèi)視覺(jué)的二目成像原理獲得深度信息,在基于深度信息的視頻編碼(Video+Depth)系統中,解碼端接收到一個(gè)普通的色彩圖像和一個(gè)像素深度信息圖后,根據深度信息圖重新生成立體圖像對。深度信息圖可以看作一個(gè)單色的亮度圖像,每個(gè)像素的深度數值被限定在最大值Zmax 和Zmin 之間,數值的大小代表相應物點(diǎn)到鏡頭的遠近。一般深度值通過(guò)8 比特線(xiàn)性量化,即:用255 代表最近點(diǎn),0 代表最遠點(diǎn),這樣深度信息圖完全可以視為一個(gè)灰度圖像。
  由于灰度圖像比較平滑,圖像邊緣比較銳利,大概色彩圖像10%~20%的比特速率就可以完成對灰度信息的編碼。這種V+D 的編碼方式比傳統立體視頻編碼有更高的效率。V+D視頻編碼方式中的色彩圖像可以直接在傳統的2D 顯示設備上播放,具有良好的后向兼容性。
  多年來(lái)業(yè)界一致認為,對某些3D 視頻業(yè)務(wù)(如3DTV)而言,良好的后向兼容性是關(guān)系到3D 視頻業(yè)務(wù)能否大規模應用的關(guān)鍵。V+D 方式實(shí)現了高壓縮率,后向兼容性及更優(yōu)秀的3D視頻顯示功能,是很被看好的3D 視頻編碼方法。
  V+D 作為目前3D 視頻編碼的研究熱點(diǎn),已經(jīng)有了很多成熟的算法。這些算法大都利用了深度信息圖像的特征,有的還考慮到了色彩圖像和深度圖像的相關(guān)性等。
  V+D 系統最終顯示的3D 視頻是由色彩圖像和深度圖像共同恢復出來(lái)的,通過(guò)觀(guān)察得知,深度圖像質(zhì)量的小幅下降并不會(huì )顯著(zhù)影響所恢復的3D 視頻質(zhì)量,因此可以在編碼過(guò)程中使用較低分辨率的深度圖像,由于解碼端需要原始分辨率的深度信息圖像,人們提出了所謂的DSUS 算法,即在編碼前對深度信息圖像下采樣,解碼之前進(jìn)行上采樣,這種DSUS算法比直接用較低分辨率進(jìn)行編碼取得更好的視頻圖像質(zhì)量。
  由于色彩圖像和深度圖的像是用來(lái)描述同一個(gè)視頻場(chǎng)景的內容的,色彩圖像包含了顏色表面結構等紋理信息,而深度描述每個(gè)像素點(diǎn)相對攝像機的位置。因此有人認為在色彩圖像和深度圖像中的物體運動(dòng)情況是一致的,可以把色彩圖像的運動(dòng)矢量運用到深度圖像中,實(shí)現色彩和深度圖像共用運動(dòng)矢量。研究結果證明通過(guò)一系列3D 宏塊的匹配算法可以實(shí)現碼率的降低,但同時(shí)也增加了計算的復雜度,使用這種共用運動(dòng)矢量的算法,需要在碼率降低和運算復雜度提高之間做個(gè)折中。
  這種 V+D 的編碼方式在實(shí)際應用中也有一定困難,目前存在的最大問(wèn)題是V+D 視頻的生成質(zhì)量不高。雖然當前市場(chǎng)上有了可以自動(dòng)獲取圖像深度的攝像機,但是攝像機獲取圖像深度信息的能力依然非常有限,深度預測算法也有許多改進(jìn)的空間?紤]到深度預測差值對3D 視頻恢復有很大影響,改進(jìn)的算法一般都會(huì )犧牲編碼效率,因此非常有必要開(kāi)發(fā)一套完全自動(dòng)的,準確,可靠的視頻深度獲取系統?梢哉f(shuō),提高V+D 視頻的獲取質(zhì)量是擴大該編碼方式應用范圍的關(guān)鍵所在。

  2.3 多視角視頻編碼(MVC)


  多視角視頻即MVC 用多部攝像機從多個(gè)角度拍攝同一場(chǎng)景,傳統立體視頻可以當作多視角視頻中攝像機數N=2 的特殊情況。每個(gè)攝像機獲取的視頻信息進(jìn)行獨立編碼是最直接的方法,但是由于拍攝的場(chǎng)景一樣,各個(gè)視頻間有很大的相關(guān)性,引入時(shí)序預測和視頻序列間預測能顯著(zhù)提高編碼效率。
  現在有很多算法提出了優(yōu)化的預測結構。目前效率最高的編碼預測結構是H.264/AVC標準支持的分等級的B 幀預測,但這種方法的編碼效果很大程度上依賴(lài)視頻圖像的內容特征,攝像距離,幀率等。這種編碼方法的缺點(diǎn)是預測結構復雜,所謂預測結構復雜涉及到計算量,存儲空間,延遲等方面,在編碼過(guò)程中需要考慮碼率降低和復雜度升高之間的取舍。
  現有的 MVC 編碼還出現了很多新的編碼方法,這些編碼算法的基本思想看可以概括為利用視頻序列間的相關(guān)性,提高預測的準確性。如基于圖像景深和差值的預測方法,該方法通過(guò)在MVC 編碼中引入景深來(lái)提高預測的準確度,光照和色彩補償的方法可以提高M(jìn)VC不同視頻序列的相關(guān)性。目前還出現了分布式的MVC 視頻編碼,利用用戶(hù)之間的交互性對視頻進(jìn)行有效的編碼和傳輸等多種靈活的編碼方式。
  MVC 編碼的缺點(diǎn)在于多個(gè)視頻序列的控制相對其它編碼方法復雜,如多個(gè)視頻序列間的同步控制,不同序列的延時(shí)抖動(dòng)對顯示端的影響。但是MVC 給用戶(hù)提供了多視角的視覺(jué)享受,MVC 編碼系統與傳統2D 系統相比,對硬件幾乎沒(méi)有特殊要求。應用范圍特別廣泛,是很被看好的3D 視頻編碼方法。

  2.4 多描述編碼(MDC)
  在典型的通信環(huán)境中,壓縮后的3D 視頻數據需要在有突發(fā)錯誤的信道中傳輸,高效壓縮后的數據會(huì )對信道傳輸狀況十分敏感。為此人們提出了所謂的信源信道聯(lián)合編碼的概念,多描述編碼(MDC)就是其中一種應用較為廣泛的信源信道聯(lián)合編碼方式。MDC 首先將原始數據分成兩個(gè)或者多個(gè)可獨立解碼的比特流,每個(gè)比特流稱(chēng)為一個(gè)描述,在解碼端接受任何一個(gè)描述都可以恢復出質(zhì)量尚可的原始數據,接收到的描述越多,恢復出的原始數據越好。
  達到這個(gè)效果的代價(jià)是需要在所有的描述中加入一定數量的冗余信息。
  需要特別指明的是,MDC 編碼并不是一種基本的3D 視頻的表現格式,該方法只是為了實(shí)現數據的可靠性傳輸而使用的編碼手段。單個(gè)視頻編碼,基于深度的視頻編碼,多視角視頻都可以使用這個(gè)編碼手段來(lái)提高視頻數據傳輸的可靠性。
  多描述編碼(MDC)碼流之間相互獨立,且可以與多種編碼方式結合使用,通過(guò)不同信道傳輸,因而可以在較高的壓縮效率下增強信號的強壯性和靈活性。因此,MDC 已經(jīng)成為視頻圖像數據傳輸的有效工具。在當前互聯(lián)網(wǎng),無(wú)線(xiàn)網(wǎng)等資源受限的系統中,在多描述編碼做為解決問(wèn)題的可選方案之一,具有很強的生命力。


  3 3D 視頻傳輸技術(shù)

  3D 視頻業(yè)務(wù)的蓬勃發(fā)展給傳輸網(wǎng)絡(luò )帶來(lái)很大挑戰,實(shí)時(shí)3D 視頻業(yè)務(wù)對網(wǎng)絡(luò )延時(shí)很敏感,立體視頻對不同視頻序列的同步性要求很高。在IP 網(wǎng)或者無(wú)線(xiàn)網(wǎng)這樣資源受限的網(wǎng)絡(luò )上實(shí)現視頻數據有效、可靠傳輸,是3D 視頻傳輸技術(shù)需要解決的問(wèn)題。
  視頻傳輸的失真主要是由信息丟失和信道錯誤引起的,在有線(xiàn)網(wǎng)絡(luò )中,擁塞引起的丟包是視頻失真的主要原因,而無(wú)線(xiàn)網(wǎng)絡(luò )的傳輸失真主要是由帶寬窄和信道干擾大引起的。因此為保證3D 視頻的傳輸質(zhì)量,現有傳輸技術(shù)在IP 網(wǎng)中重點(diǎn)解決丟包問(wèn)題,無(wú)線(xiàn)網(wǎng)中重點(diǎn)關(guān)注差錯恢復。
  為了防止數據在傳輸過(guò)程中發(fā)生數據丟失,人們提出了所謂的不對稱(chēng)差錯保護法。這種算法的基本思想是,給3D 視頻中的重要信息編碼時(shí)分配更高的比特率,傳輸過(guò)程中給予更高的傳輸優(yōu)先級,進(jìn)行重點(diǎn)保護。例如,在V+D 視頻傳輸過(guò)程中,因為色彩圖像包含了絕大部分信息,丟失色彩圖像比丟失深度圖像更讓用戶(hù)難以接受,可以給色彩圖像更多的保護,以保證信道條件惡劣的情況下,用戶(hù)仍然接收到質(zhì)量尚可的視頻圖像。該方法也可以用在MDC、MVC 視頻編碼中。
  在視頻傳輸過(guò)程中,如果發(fā)生丟幀失,可以用差錯隱藏算法降低丟幀對視頻質(zhì)量的影響,該算法的基本思想是:在視頻序列解碼過(guò)程中,如果發(fā)生丟幀或者接收到的某一幀質(zhì)量太差必須丟掉,可以用一個(gè)最近正確解碼的幀,通過(guò)運動(dòng)矢量預測丟掉的幀。為了對丟失幀有更好的預測效果,一些更為復雜的預測方法還會(huì )綜合空間時(shí)間和頻譜域特點(diǎn)對運動(dòng)矢量進(jìn)行糾正。
  傳統 IP 網(wǎng)上的信息傳遞采用單播和廣播的方式,兩種傳播方式有效性低且缺乏QoS 保證,廣播方式還會(huì )讓用戶(hù)被動(dòng)接收無(wú)用信息或者接收到未經(jīng)授權的信息,尤其在存在路由環(huán)路時(shí)還可能引起廣播風(fēng)暴。組播技術(shù)有效彌補單播和廣播的缺陷,被認為是解決3D 視頻傳輸的有效解決方案。
  在傳送組播數據時(shí),路由器需要構造一個(gè)連接所有組播組成員的樹(shù)。根據這個(gè)樹(shù),路由器得出轉發(fā)分組的一條唯一路徑,這個(gè)樹(shù)就是分布樹(shù)。根據構造方法的不同,分布樹(shù)分為源分布樹(shù)和共享分布樹(shù)。源分布樹(shù)以組播源為根節點(diǎn)構造到所有組播組成員的生成樹(shù)。共享分布樹(shù)的構造方法是以網(wǎng)絡(luò )中的某特定路由器為根節點(diǎn),由此根節點(diǎn)生成包含所有組成員的樹(shù)。使用共享分布樹(shù)時(shí),組播源需要先把組播分組發(fā)送給集合點(diǎn)路由器,再由這個(gè)路由器轉發(fā)給其他的組成員。由于成員可以動(dòng)態(tài)地加入和退出,分布樹(shù)也必須動(dòng)態(tài)更新。動(dòng)態(tài)分布樹(shù)的實(shí)現是組播技術(shù)的一個(gè)難點(diǎn),目前已經(jīng)有了很多比較成熟的分布樹(shù)生成算法,這些分布樹(shù)基本實(shí)現了如下功能:能夠提供靜態(tài)預先計算功能,樹(shù)的結構是集中化的,分布樹(shù)有自管功能,能夠根據網(wǎng)絡(luò )性能進(jìn)行調整。
  現有組播技術(shù)根據組播分組的構建方法不同可分為IP 組播和覆蓋組播,IP 組播假定每組有唯一確定的組地址,其他主機可以通過(guò)向該地址發(fā)消息而把信息傳遞給所有組成員。IP組播技術(shù)需要網(wǎng)絡(luò )中所有的路由節點(diǎn)都具有組播功能,而現實(shí)網(wǎng)絡(luò )中只有部分路由節點(diǎn)具有組播功能,因此IP 組播技術(shù)目前不能大范圍應用到實(shí)際網(wǎng)絡(luò )中。覆蓋組播技術(shù)把網(wǎng)絡(luò )中具有組播功能的節點(diǎn)集看作組播覆蓋網(wǎng)絡(luò ),在其上構建“核心”組播數據分發(fā)樹(shù),組成員以某種規則接入“核心”組播樹(shù),從而實(shí)現組播功能。比較而言,IP 組播效率較高而覆蓋組播更為靈活。
  組播技術(shù)在應用中顯現出了很大的優(yōu)勢。組播技術(shù)可以通過(guò)建立合理的動(dòng)態(tài)路由防止網(wǎng)絡(luò )擁塞,通過(guò)增加路由器的復制能力,防止同樣的數據包在線(xiàn)路上重復傳送,F在有了很多很成熟的算法優(yōu)化組播傳送路由,有的算法還做到了傳播路由隨網(wǎng)絡(luò )性能調整,傳送的視頻包大小根據可用帶寬調整。
  組播技術(shù)被認為是傳播視頻數據業(yè)務(wù)最好的方案, IP 組播的所有路由器都需要記錄每個(gè)數據流的狀態(tài),而覆蓋組播的各個(gè)分組之間不能共享底層信息,在傳播過(guò)程中需要考慮帶寬限制,連接限制和分組動(dòng)態(tài)。這些問(wèn)題是目前網(wǎng)絡(luò )傳輸技術(shù)研究的熱點(diǎn),尤其利用MDC方式所提供的編碼傳輸間的多個(gè)接口的研究方向,已經(jīng)有了很成熟的解決方案。另一個(gè)研究方向就是根據應用端點(diǎn)和途徑節點(diǎn)的重要性,找到算法合理分配上行帶寬。覆蓋組播的途徑節點(diǎn)模式是另一個(gè)研究方向,這個(gè)模式需要重點(diǎn)解決的問(wèn)題是途經(jīng)節點(diǎn)的管理,哪些節點(diǎn)何時(shí)加入組播分組,何時(shí)離開(kāi)組播分組。

  4 結論

  本文著(zhù)重介紹了三種基本的3D 視頻表現格式,實(shí)際應用中的3D 視頻編碼格式非常豐富,新的編碼方法不斷涌現,多種編碼方式有互相結合的趨勢,如在MDC 中的每個(gè)描述可以是一個(gè)V+D,也可以是MVC 的一個(gè)視頻序列,甚至在MVC 的每個(gè)視頻序列都可以是V+D 的表現格式。由于組播技術(shù)絕對優(yōu)勢,組播傳輸是未來(lái)3D 視頻傳輸的最有潛力的解決方案,結合組播特點(diǎn)和3D 視頻業(yè)務(wù)的需求,是未來(lái)3D 視頻業(yè)務(wù)發(fā)展需要重點(diǎn)關(guān)注的問(wèn)題。

【小議3D 視頻編碼傳輸技術(shù)】相關(guān)文章:

基于數據分割和可逆變長(cháng)編碼的數字視頻傳輸差錯復原技術(shù)12-07

視頻壓縮編碼的差錯復原技術(shù)03-21

視頻監控系統―視頻捕獲和傳輸模塊VC++03-08

基于DIRECTSHOW技術(shù)的MPEG4編碼IP視頻監控系統的設計03-07

基于A(yíng)DSL傳輸的網(wǎng)絡(luò )視頻應用系統03-18

Video Object編碼技術(shù)01-07

剖析 MPEG-2 視頻編碼器03-18

數字視頻信號的長(cháng)線(xiàn)傳輸03-18

高速視頻信號的光纖傳輸系統設計03-21

激情欧美日韩一区二区,浪货撅高贱屁股求主人调教视频,精品无码成人片一区二区98,国产高清av在线播放,色翁荡息又大又硬又粗视频