多媒體技術論文怎麼寫
多媒體技術是一種把文字、圖形、影象、動畫和聲音等形式的資訊結合在一起,能完成一系列互動式操作的資訊科技。小編為大家整理的多媒體技術論文,希望你們喜歡。
多媒體技術論文篇一
多媒體技術漫談
摘要:這篇文章,主要是從巨集觀上總結了一下現階段影象視訊底層技術的發展及應用點,從一個影象視訊演算法研?a href='//' target='_blank'>咳嗽鋇慕嵌忍敢惶付哉飧雋煊虻娜鮮丁M枷袷悠盜煊虻納桃滌τ茫??性詼嗝教?a href='//' target='_blank'>娛樂、網際網路、智慧監控、工業機器視覺、OCR、生物特徵識別、醫學影象處理以及軍事國防幾個領域,多媒體領域是其中的一個重要分支,很多影象視訊領域的新演算法和新理論往往在多媒體領域得到最先的應用。
關鍵詞:多媒體;視訊智慧編輯;視訊感興趣區;影象視訊場景分析
中圖分類號:TP37 文獻標識碼:A文章編號:1007-9599***2012***01-0000-02
Multimedia Technology Study
Du Pengxiang,Huang Shanshi
***China Telecom Co.,Ltd.,Wenzhou Branch,Wenzhou325000,China***
article is from the macro summarizes the development and application point of the current image video of the underlying technology from the perspective of an image of video algorithms researchers talk about the understanding of this area.The field of image and video business applications, multimedia entertainment,the Internet, intelligent monitoring,industrial machine vision,OCR,biometrics, medical image processing,as well as military defense in several areas, multimedia areas is an important branch of a lot of image field of video the new algorithms and new theories are often the first application in the multimedia field.
intelligent editing;Video interest region;Image video scene analysis
多媒體領域主要集中了MicroSoft、Adobe、MITSUBISHI、Cyberlink、Muvee、Autodesk、Corel、Sony、2D3、MotionDSP等一批公司,以及與之相關的PAMI、IJCV、CVPR、ICCV、ECCV、SIGRAPH等眾多多高水平的學術期刊和學術會議。多媒體領域的研究方向比較雜,包括但不限於下面幾類,視訊智慧編輯、視訊感興趣區、影象視訊場景分析、影象視訊修復及後處理、人臉系列技術、非真實感渲染***NPL***系列技術、3D系列技術、人機互動技術等。
一、視訊智慧編輯
主要包括視訊鏡頭邊界檢測以及在此基礎上的視訊自動故事片生成、視訊廣告檢測、視訊廢鏡頭檢測等。視訊鏡頭邊界檢測在經歷了一段時間的發展之後,檢測率也達到一定的程度,目前基本上不再有新的文章出現。視訊自動故事片生成往往需要音視訊技術的結合,並且由於缺乏有效的評級機制,最近幾年已經不是研究的熱點,但是相信各個視訊編輯領域的公司仍在研究或者開發過程之中。視訊中的廣告檢測作為其中的一個小的分支,可能因為沒有很大的商業價值,研究的並不多,但想要真正實現高的檢測率,仍然有很多值得研究的地方。視訊廢鏡頭檢測其實是視訊修復的一部分,包括檢測視訊中的抖動片段、模糊片段、過曝過暗片段等,從而達到視訊修復的目的。
***一***視訊感興趣區的研究
最近是一個熱點方向,感興趣區提取和跟蹤可以用來做視訊智慧縮放,可以用來指導視訊編輯中的精彩視訊片段選擇,還可以在片源採集時就用來指導攝像機捕捉精彩片段。人臉、人物、車輛、小動物、房屋、花草樹木等在特定的場景下等都可以作為感興趣區,感興趣區提取的方式方法也比較多,但除了人臉、人物檢測技術上還比較成熟之外,其他目標的檢測很難達到滿意的準確度。人物檢測基礎上的精細分割摳像技術,也是影象領域的一個基礎研究方向,準確的摳像,是換背景等智慧化效果的基礎。
***二***影象視訊場景分析
主要用在視訊管理和視訊按場景選擇和編輯。通過對不同的場景的特徵進行分析設計分類器進行分類,對於視訊管理這種不要求很高精度的應用點可以滿足要求。照片和視訊按場景內容管理,跟基於人臉識別技術的照片管理,是基於內容管理的兩個方式,相信今後的多媒體編輯和管理軟體都會逐步增加這個功能。
***三***影象視訊的修復及後處理
主要包括視訊抖動修復、影象視訊去模糊、視訊過曝過暗修復、視訊去霧化、老電影舊照片修復、馬賽克修復、視訊影象超解析度、視訊影象智慧變比例縮放、視訊幀插值、影象視訊去噪等。
視訊抖動修復關鍵是攝像機軌跡的檢測,確定了攝像機的移動軌跡,視訊修復就有了基礎的指導。通過尋找視訊中的特徵點,然後對特徵點進行跟蹤,通過分析每個特徵點的軌跡,確定攝像機的整體軌跡。如果假定視訊中的內容都是一個平面上,只考慮攝像機在2D平面的軌跡,事情要容易的多,但事實上攝像機的軌跡應該是3D的,這就變成了一個“Structure from Motion”的問題,處理起來就比較複雜,但如果想得到理想的穩像效果,得出攝像機3D軌跡是必須的。另外,攝像機3D軌跡的求取,也是其他基於3D的視訊應用的基礎,這個後面再講。
影象視訊去模糊,這個的關鍵是尋找模糊核,也就是拍攝的瞬間攝像機或相機的運動軌跡,在這個運動軌跡上反捲積,就可以恢復攝像機不動情況下拍攝的視訊、影象,也就是不模糊的視訊、影象了。所以,對視訊的去模糊,比起對影象的去模糊,手段要多一些,因為視訊去模糊可以通過視訊序列的資訊來得到攝像機的運動軌跡。而影象的去模糊,這個運動軌跡只能是通過對影象內部結構的分析進行估計。考慮到軌跡估計和反捲積的運算量,不管是影象去模糊還是視訊去模糊,目前都不算很成熟,但是成熟的產品應該會在短期內出現。
視訊過曝過暗修復,如果視訊質量不是太差,直方圖被擠壓的不是太厲害,還可以通過直方圖均衡化的方式進行簡單修復,但是如果直方圖被擠壓的很嚴重,那就只能刪除了。
視訊、影象去霧化,簡單點說,就是把被霧化的影象建模為一個正常的無霧的影象與純霧的影象的合成,因為拍攝得到影象中霧的灰度值與景深有關,所以好的去霧演算法,應該是以準確的景深估計為基礎的,3D景深估計也是一個很熱的方向。
老電影舊照片修復,大概包括色彩的修復和一些劃痕修復,色彩修復,可以以類似去霧的建模方式,也可以簡單的做色調調節,問題都不大。劃痕修復就比較複雜,除了要把劃痕檢測到,還要用周圍的畫素來填充劃痕的畫素,比較典型的全變分方法可以用來處理這類問題。
馬賽克修復,馬賽克修復基本上還是要從產生的原因入手,如果是編解碼層的問題,可以對編解碼的資料嘗試修復。如果到了解碼後的影象資料,想要修復就是一個無中生有的問題了,只能是依靠邊緣紋理來去掉馬賽克的效果,但是想要恢復影象內容,除非後臺有一個強大的針對特定目標的資料庫來支援虛構類似的內容,否則毫無辦法。
視訊、影象超解析度,超解析度的方法,總體來說兩種思路,一種是挖掘影象的邊緣資訊,在影象放大的時候,儘量保邊緣,這類方法以NEDI方法為典型,缺點是速度比較慢。另一類是基於Patch的方法,首先建立一個低解析度Patch對應高解析度Patch的對映表,前期先把這個對映關係建立好,然後就只需要通過查詢對映表來進行超解析度操作了。如果建立的對映表足夠大,那就可以得到比較理想的超解析度結果,理論上講不論速度還是質量都比前一種方法要好。
視訊影象智慧變比例縮放,是指通過分析影象視訊中的內容,在影象、視訊縮放的過程中,保留有內容的關鍵區域比例不變,而壓縮、擴充套件不重要的區域,這樣看起來縮放後的影象、視訊主要內容不會變形。基於影象的智慧縮放演算法比較成熟,基於視訊的由於要考慮視訊序列的前後幀的連續性,必須加入時間軸的約束,因此效果不如影象理想,做的不好會引出視訊的抖動問題。
視訊幀插值,可以用來解決幀率變化的情況下,出現的視訊抖動問題,主要是一個視訊的全域性運動,類似於視訊抖動檢測,應該說技術上不復雜,但是視訊中的區域性運動會干擾全域性的運動估計,這樣插值出來的幀就會存在一定的瑕疵。
影象視訊去噪,方法很多,簡單點通過濾波高頻訊號的方法如高斯濾波,或者簡單的中值濾波都可以有一定的效果,但是目前看來,最理想的方法還是非區域性均值***NLM***方法。其他的一些例如偏微分方程的方法也可以嘗試。
五、人臉系列技術
包括人臉檢測、跟蹤,人臉特徵點定位,人臉識別,人臉的表情識別,人的年齡、性別識別,人臉的美化,人臉卡通效果,人臉的變形效果,人臉的3D重建等以及與此相關的眼睛檢測和紅眼修復等。
六、非真實感渲染***NPL***系列技術
包括水墨畫、水彩畫、油畫、漫畫效果等人工畫效果,風、雪、雨、煙、霧、火焰、海浪等一些自然環境的模擬效果。
人工畫效果的實現主要是基於Stroke的方式,難點在於影象的解析,一個好的人工畫效果,需要正確的將影象分解為不同的區域,並分析不同區域的結構特點來確定用筆方式、Stroke的精細度等引數。
對自然環境的模擬,主要是一些粒子的模擬,可以採用基於物理模型的方式研究粒子的受力及運動方式,流體力學的相關方法是這個領域的核心。
NPL技術,除了用於對影象、視訊的特效上,另外像一些煙霧效果和水墨畫效果用於藝術字的特效也是不錯的選擇。
七、3D系列技術
3D技術在視訊中的應用點,可以看到的有3D穩像、3D物件嵌入等等,這裡的關鍵是獲取攝像機的3D軌跡與視訊中的特徵點的3D深度資訊,通過視訊序列分析攝像機的3D軌跡的技術叫“Structure from Motion”,大量的文章可以參考。有了攝像機的3D軌跡與視訊中的特徵點的3D深度資訊,2維的影象資訊就一定程度擴充套件到了3維。全景圖的拼接技術,本質上也利用了基於雙目視覺3維重構的一部分技術。得到了3D攝像頭軌跡,可以利用這個資訊進行3D插幀,藉此虛擬重構雙目視覺畫面,通過3D眼鏡,就可以看到比較理想的3D場景了。3D的應用,可以想象的空間比較大,多了一維資訊,總可以做出一些新的東西。
八、人機互動技術
人機互動是指通過攝像頭捕捉人的手勢、身體的姿態、面部表情、眼睛的移動等資訊,代替傳統的滑鼠鍵盤來指導計算機做出相應的處理。技術層面主要涉及目標的檢測、跟蹤以及姿態的識別。相比之前提到的多媒體的各種方向,人機互動應該是最有市場前景的方向,應用點也非常多。
九、結論:
除了上述的這些技術方向之外,在此基礎上或者與這些技術相關的一些其他的應用也可能不斷的出現,多媒體領域可以說是人工智慧的一個試驗田,很多即使不成熟的新技術都很可能首先在這個領域出現和發展。這個領域幾乎可以囊括影象視訊處理、模式識別的所有底層技術,必然可以衍生出很多很雜的應用點。
多媒體技術論文篇二
淺談多媒體技術
摘要:多媒體技術是一種把文字、圖形、影象、動畫和聲音等形式的資訊結合在一起,並通過計算機進行綜合處理和控制,並且能完成一系列互動式操作的資訊科技。它的發展改變了計算機的使用領域,廣泛應用於生產管理、教育教學、資訊諮詢、廣告、家庭娛樂等領域。多媒體技術實現了通訊技術、計算機技術、音像技術的緊密結合,它的研究涉及計算機軟硬體、網路、人工智慧、電子出版、通訊等多種技術。
關鍵詞:多媒體技術 圖形 影象
中圖分類號:TP39 文獻標識碼:A 文章編號:1007-3973***2011***006-082-02
多媒體技集文字、聲音、影象、視訊、通訊等多項技術於一體,採用計算機的數字記錄和傳輸傳送方式,對各種媒體進行處理,具有廣泛的用途,甚至可代替目前的各種家用電器,集計算機、電視機、錄音機、錄影機、VCD機、DVD機、電話機、傳真機等各種電器為一體,是一個涉及面極廣的綜合技術,是開放性的沒有最後界限的技術,其產業涉及電子工業、計算機工業、廣播電視、出版業和通訊業等。
1 多媒體技術應用的意義
多媒體技術發展到今天,已經對人類的現實生活產生了深遠的意義和影響,具體表現在以下幾個方面:一是使計算機可以處理人類生活中最直接、最普遍的資訊,從而使得計算機應用領域及功能得到了極大的擴充套件。二是使計算機系統的人機互動介面更加友好方便,非專業人員可以方便地使用和操作計算機。這也使計算機的應用可以很快速的普及;三是多媒體技術使音像技術、計算機技術和通訊技術三大資訊處理技術緊密地結合起來,大大的促進了資訊處理技術的發展,聲音、視訊、影象壓縮方面的基礎技術已逐步成熟,並形成了產品進入市場,形成一個巨大的產業鏈。
2 多媒體技術涉及的內容
多媒體技術涉及的內容包括多媒體資料壓縮、多媒體處理、多媒體資料儲存、多媒體開發工具等。下面加以簡單介紹:
多媒體資料壓縮涉及多模態轉換、壓縮編碼;多媒體處理主要是音訊資訊處理,如音樂合成、語音識別、文字與語音相互轉換;
多媒體資料儲存主要涉及資料庫技術,這裡指多媒體資料庫,如影象處理會產生大量資料,就要考慮資料庫儲存技術;
多媒體開發工具:第一種是基於時間的,它以可視的時間軸來決定事件的順序和物件上演的時間。這種時間軸包括許多行道或頻道,以使安排多種物件同時展現。比如Director和Action;第二種是基於圖符或流線的,它把多媒體成分和互動佇列***事件***按結構化框架或過程組織為物件。使專案的組織方式簡化且多數情況下是顯示沿各分支路徑上各種活動的流程圖。比如Authorware;第三種是基於卡片或頁面的,它提供一種可以將物件連線於頁面或卡片的工作環境,一頁卡片便是資料結構中的一個節點,它類似於教科書中的一頁或資料袋內的一張卡片,如HyperCard;第四種是以傳統程式語言為基礎的,需要使用者程式設計量較大,而且重用性差、不便於組織和管理多媒體素材、除錯困難,如VB、Delphi等。
3 主要多媒體技術的發展狀況
多媒體技術的發展狀況可以從以下幾個方面分析:
***1***音訊技術。音訊技術主要包括四個方面:音訊數字化、語音處理、語音合成及語音識別。
音訊數字化目前是較為成熟的技術,多媒體音效卡就是採用此技術而設計的,在這種技術的支援下,數字音響一改傳統的模擬方式而達到了理想的音響效果。音訊取樣包括兩個重要的引數即取樣頻率和取樣資料位數。取樣頻率即對聲音每秒鐘取樣的次數,取樣頻率越高音質越好,存貯資料量越大。取樣資料位數即每個取樣點的資料表示範圍,目前常用的有8、12和16位三種。取樣位數越高,存貯資料量越大,音質也越好。
語音處理主要集中在音訊壓縮上,目前最新的MPEG語音壓縮演算法可將聲音壓縮六倍。
語音合成又稱文語轉換***Textto Speech***技術,它能將任意文字資訊實時轉化為標準流暢的語音朗讀出來,相當於給機器裝上了人工嘴巴。涉及聲學、語言學、數字訊號處理、電腦科學等多個學科技術。
語音識別在音訊技術中難度最大最吸引人,就是讓機器通過識別和理解過程把語音訊號轉變為相應的文字或命令的高階技術。語音識別技術主要包括特徵提取技術、模式匹配準則及模型訓練技術三個方面。讓計算機聽懂人說話是發展人機語音通訊和新一代智慧計算機的主要目標。
***2***視訊技術。視訊技術包括視訊數字化和視訊編碼技術兩個方面。視訊數字化是將模擬視訊訊號經模數轉換和彩色空間變換轉為計算機可處理的數字訊號,使得計算機可以顯示和處理視訊訊號。視訊數字化後色彩、清晰度及穩定性都有了明顯的提高。視訊編碼技術是將數字化的視訊訊號經過編碼成為電視訊號,從而可以在電視上播放。
***3***影象壓縮技術。影象壓縮一直是技術熱點,是計算機處理影象和視訊以及網路傳輸的重要基礎,目前有三個壓縮標準即JPEG、MPEG和H.26。
JPEG是國際上彩色、灰度、靜止影象的第一個國際標準,它不僅適於靜態影象的壓縮,電檢視像序列的幀內影象的壓縮編碼,也常採用JPEG壓縮標準。它包括兩部分:一是基於DPCM***空間線性預測***技術的無失真編碼,一是基於DCT***離散餘弦變換***和哈夫曼編碼的有失真演算法。前者影象壓縮無失真,但是壓縮比很小,目前主要應用的是後一種演算法,影象有損失但壓縮比很大,壓縮20倍左右時基本看不出失真。MPEG是針對運動影象的資料壓縮技術。目前又分為MPEG-I、MPEG-II、MPEG-IV、MPEG-7和MPEG-21。它除了對單幅影象進行編碼以外還利用影象序列中的相關原則,將幀間的冗餘去掉,這樣大大提高了影象的壓縮比例。H.26是視訊影象壓縮編碼國際標準,主要用於視訊電話和電視會議,可以以較好的質量來傳輸更復雜的影象。
4 多媒體技術應用領域
多媒體技術的應用領域非常廣泛,涉及農業生產、軍事、旅遊、網際網路、家庭娛樂、電子地圖、網路通訊、辦公自動化、航空航天、生產管理、教育教學、資訊諮詢、商業廣告等等,下面從幾個方面進行簡單說明:
***1***教育和娛樂:它可能是多媒體技術應用最多的一個領域,一般的遊戲都使用了動畫,三維圖形,視訊播放,聲音處理等技術,還有影視娛樂業中的電影特技、變形效果,電視/電影/卡通混編特技、MTV特技製作、模擬遊戲。在教育方面,多媒體技術主要體現在形象教學、模擬展示上,比如電子教案、形象教學、模擬互動過程、網路多媒體教學、模擬工藝過程等,這使得教學過程具有很好的互動性,並可用逼真的形象表現所需的資訊。
***2***商業廣告:是另一種對多媒體技術需求較多的應用領域,主要體現在特技合成、大型演示中,象影視商業廣告、公共招貼廣告、大型顯示屏廣告、平面印刷廣告等,這裡要用到視訊捕捉、影象壓縮與解壓縮、影象編輯與轉換、音訊同步,新增字幕等技術。
***3***虛擬現實技術和遠端傳輸:它可以用來模擬複雜的動作和模擬,利用計算機和其它的相關裝置將人們帶入一個虛擬的世界。虛擬現實技術體現在人工智慧模擬上,象生物形態模擬、生物智慧模擬、人類行為智慧模擬,比較典型的例子就是駕駛訓練系統,它就使用了虛擬現實技術;多媒體技術在遠端傳輸上的最成功表現就是多媒體在Intemet上的應用,它突破了Intemet只能傳輸字元的限制,從而展示給遠處一個接近現實的畫面,這在醫療上體現了具大的作用,象遠端診斷、遠端手術。
多媒體技術在上述應用領域發展的過程中,不僅促進了多媒體軟體的發展,同時也促進了多媒體硬體的發展。對於軟體來說,可以分成以下幾類:
文書處理:記事本、寫字板、Word、WPS
圖形影象處理:PhotoShop、CorelDraw、Freehand等;
動畫製作:AutoDesk、Animator Pro、3DS MAX、Maya、Flash等;
聲音處理:Ulead Media Studio、Sound Forge、Audition***Cool Edit***、Wave Edit等;
視訊處理:Ulead Media Studio、Adobe Premiere等;
對於硬體來說,不僅聲頻卡***Audio Card***、光碟***CD-ROM***、視訊卡***Video Card***等這些基本產品得到了廣泛的發展,其它的硬體裝置如攝像機、掃描器、觸控式螢幕、印表機、影碟機、音響裝置等也得到快速的發展和廣泛的普及,這些產品已走進平常百姓家,給人們帶來了很多生活樂趣。
參考文獻:
[1]尹敬齊,多媒體技術[M],機械工業出版社
[1]沈大林,多媒體CAI課件製作案例教程[M],中國鐵道出版社
- 多媒體技術論文怎麼寫
- 四年級的慰問信
- 計算機網路安全缺陷有哪些防範措施
- 經典朋友圈營銷案例具體分析
- 最新藥品倉庫管理員工作職責範文
- 什麼是靜摩擦意思生活中哪些是
- 初中好句子排比好句
- 情侶個性英文網名
- 寫閨蜜的經典空間說說短語
- 傷感句子虐心
- 牙膏經典廣告詞_牙膏的創意廣告語
- 加拿大留學生工籤要如何申請
- 關於愛情幸福感言的句子
- 九零後的人愛聽的歌
- 領導在工會換屆大會上的講話稿
- 正確認識數學學習方法的重要性
- 大班幼兒期末評語怎麼寫
- 七夕節的由來英文
- 世界上最大的瀑布群
- 在南方該如何種植葡萄以及品種的功克
- 康熙字典五行屬金的字
- 康熙字典五行屬木的字
- 康熙字典五行屬水的字
- 康熙字典五行屬火的字
- 康熙字典五行屬土的字