自由自在看3D!世界首顆「自由視角」3DTV晶片誕生

電子所博士生叢培貴細說從頭,3D,是最近一兩年來的熱門話題,從打破鐵達尼號票房記錄的電影阿凡達,到玩家心目中的夢幻逸品—任天堂3DS遊戲機,在在反映出人們對於3D立體影像的好奇心。而在一波波的3D熱潮之中,臺大的DSP/IC設計實驗室(以下簡稱DSP實驗室)此刻正站在浪頭之上。

世界首顆 40奈米「自由視角」3D TV晶片

你可曾期待未來看3D影片不用再戴眼鏡?甫於最新一次ISSCC(國際固態電路會議)發表的3D TV晶片,最大的特色在於「自由視角」,也就是使用者不需戴眼鏡即可用不同角度,自由自在地觀賞生動又立體的3D影像。過去的3D技術,僅利用位於同一軸線上的左右雙眼視覺差,只有一個維度的自由度,觀者移動位置所看到的影像不會有太大變化;但此次DSP實驗室發表的技術考慮到使用者的相對運動,具備了XYZ三軸包含各自轉動,高達六個維度的自由度,可以模擬真實空間中所有可能的視角。此次發表的3D TV晶片結合了3D視訊壓縮器(3D Video Decoder)與虛擬視角合成引擎(Virtual View Synthesis engine),將應用在終端的電視機上盒,因應不斷進化的3D立體影像需求。

「既然無法用相機拍到所有的視角,那就用左右兩臺相機拍到的東西來生成中間應該會看到的畫面」,DSP/IC設計實驗室博士生叢培貴說,為了達成自由視角的目標,他帶領了一個四人小組,研發出虛擬視角合成技術(Virtual View Synthesis),運用訊號處理,「把沒拍到的假裝拍到」,猜測相機沒拍到的地方會是什麼樣子;當然,若影片產製端架設的相機數量越多,後端生成虛擬視角的品質就越好。

值得一提的是,本次晶片製作採用台積電40奈米製程,在史丹佛、麻省理工學院等頂尖名校的請中拔得頭籌,搶先運用學界最先進的晶片製程,有效縮小晶片體積並提升晶片的能源使用效率。

明日世界的紅藍3D 埋下鑽研3D技術種子

到兒童樂園的明日世界,看3D電影必須佩帶的紅藍雙色眼鏡,是許多人的兒時回憶。「我看到影片就覺得很酷!」叢培貴說,小時候受到明日世界的3D電影啟發,而開啟了對影像的好奇;進入臺大電子所碩士班,發現實驗室有3D視訊組,覺得3D電視很有趣,便投入相關的研發工作。由於學術界研究未來三到五年的新技術,已商業化的東西就不在實驗室的探究範圍,於是叢培貴等人開始思考新的研究方向,結果發現「現在的3D電視好像還不太3D」,經過一番討論,3D組再細分為兩個小組:一組研究如何讓3D影像的品質更好,一組則研究人眼對3D的感官,希望利用單眼立體視覺技術讓2D影像成功轉換成3D。

一年多前3D鉅片阿凡達上映時,實驗室主持人陳良基教授請了全部學生一起去看電影,觀摩3D技術的應用;放映結束,陳教授和學生打趣說「這也沒什麼嘛,我們實驗室也做得差不多!」幽默言談間可見DSP實驗室的自信與極佳的研究成果。

研發苦盡甘來 站上ISSCC講臺

叢培貴回想整個研發過程,當初會投入視訊處理領域,除了本身對於影像的興趣之外,容易看得到結果也是一大原因,「因為馬上就可以知道好或不好,而且後續的應用很容易讓大家理解。」像是做3D TV晶片研發,當家人問自己在做什麼,就可以解釋自己的研究會讓電視畫面看起來更立體、更真實。

從碩士班的Multiview Video Coding研究到博士班的Virtual View Synthesis,叢培貴連續參加了三年的ISSCC會議,論文掛名也從第三作者、第二作者,躍升到第一作者,但隨之而來的,是龐大的壓力。ISSCC嚴格規定每位發表人,不論內容多龐雜,都只能繳交兩頁A4的資料,一頁文字(7500字元)、一頁圖片,「但是我們這顆晶片的論文內容可以切成五到六篇投其他會議的論文,如何在濃縮內容的同時又讓別人看懂並看出你厲害的地方,是最大最難的挑戰。」為此,他請分布在美國與臺灣的老師、學長幫忙修改稿件,由於時差以及每個人作息的差異,叢培貴笑稱這是一個Worldwide Group,工作時間卡接得很緊,所以最後幾天幾乎沒什麼睡,每天以實驗室的行軍床為家。

「去ISSCC發表還滿爽的!」叢培貴興奮地描述ISSCC會場情況,臺下有幾百個來自世界各地的產學界菁英,在那25分鐘,不管他英文講得好不好,還是要聽他發表,「因為我做得好啊!」會後,許多產業界人士表示興趣,如微軟、聯發科等,都進一步詢問技術內容。辛苦,終於有了代價,叢培貴成功站上了Intel、AMD、IBM等科技大廠都搶著發表新款CPU的世界級舞臺。

DSP/IC設計實驗室與陳良基教授多項第一

臺大電子所DSP/IC設計實驗室由陳良基教授主持,積極參與產學合作,將實驗室研發出的技術轉換為實際的生活應用,如1990年代,實驗室做出了臺灣第一顆數位相機JPEG壓縮晶片,當時約四分之一的數位相機運用了這項技術;H.264全球第一顆可用的晶片也出自實驗室;連同此次的自由視角3D TV晶片,創下了多個第一。而陳良基本人也不遑多讓,催生臺大電子所、系統晶片中心,以及近年鼓勵學生創新的創意創業學程。叢培貴認為老師「很敢去做新的、他覺得應該要去做的東西。」實驗室能有如此豐碩的研究成果,陳良基教授是背後的最大功臣。叢培貴說,雖然老師常常謙稱自己的腦袋沒有學生好,想的東西有限,但是「老師看方向非常準」,從視訊壓縮(Video Coding)、3D TV晶片到生醫晶片,方向全部都對,切合了時代的發展趨勢;且老師以學生為重,不僅努力幫學生找資源,給學生安心做研究的環境,也常鼓勵「阿宅」學生們走出實驗室,一起出門打羽球、聽音樂會,活化腦力、激發創意。

交棒學弟妹 期許研究對人類有幫助

DSP實驗室的3D視訊組,由第一代學長、現為電子所副教授的簡韶逸以Intelligent Video起跑,現在交棒到第三代的叢培貴手上。這學期即將畢業的叢培貴表示,如果想像一下iPhone4細緻的視網膜螢幕放大到40吋,就會知道full HD將不敷使用;預見未來大尺寸高解析度電視的影像需求,他目前正著手開啟H.264下一代的High Efficiency Video Coding研究,壓縮率更佳,或許五年後才會用到。

「能做到自己有興趣的題目是很幸福的事情!」回首來時路,叢培貴感性地說,當自己在一個領域做到可以被稱為專家的時候,就會期許自己再做些突破,透過產學合作,把成果更快帶給大眾,為社會帶來改變,對人類世界有幫助。

文:陳榮格