音樂建築於電腦與科學之上新科學創造新文明系列Ⅲ模擬指揮家系統與音樂情緒辨識臺大資訊工程團隊

現代音樂的創作、呈現與欣賞，都廣泛用到電腦。音樂與電腦結合後的研究，通常會運用到許多物理聲學、數學、心理學、音樂理論、計算機科學等等的知識，是一門快速發展的新科學。由於篇幅所限，此處只介紹臺大在此一新領域的幾項重要成果。

由資訊工程學系的洪一平教授指導博士生彭維廷等人，將碩士生李務熙 (現在MIT Media攻讀博士)研發的指揮家系統(舞動滑鼠控制音樂播放聲量及速度擴充改進而成。

使用者可以用指揮棒與臺師大交響樂團影片互動，有如置身音樂廳，指揮真正的樂團，享受當指揮家的樂趣。藉由電腦處理音樂訊號，更能與影像、生理等訊號整合，產生許多有趣的應用。此一構想落實為本校執行國科會延續卓越計畫之成果。學術成果亦已撰成論文發表於國際一流多媒體技術研討會[1]。

此外亦可將音樂、圖片、部落格文章等依情緒分類，由閱聽者的生理訊號，判斷喜不喜歡同類音樂及圖片，據以切換播出內容。由博士生吳天麟及數位老師之博碩士生合作完成，綜合多媒體情緒辨識與剪接合成、生理訊號處理、人工智慧等理論與技術，讓使用者可以更輕鬆地欣賞喜好的多媒體與網路部落格內容。

此一互動媒體內容呈現系統icp (Interactive Content Presenter) 亦為本校執行國科會延續卓越計畫之成果，已發表於國際一流多媒體技術研討會[2]。

另一項重要成果為音樂情緒的辨識；這方面的研究也整合在上述的互動媒體內容呈現系統icp之中。心理學上常用四個象限中的點代表人類的情緒。用人工智慧中的理論，也可讓電腦將音樂表現的情緒分類。

本校電機系陳宏銘教授指導博士生楊奕軒及其團隊應用此一概念，完成音樂播放器Mr. Emo。使用者在表示情緒的四個象限中，畫出想播放之音樂所表現情緒的軌跡，Mr.Emo便能選擇資料庫中最接近軌跡的音樂(圖上的紅黃小方塊)，依序播放。相關的論文發表於國際一流多媒體期刊[3]及研討會[4]。

最近新興的一種辨識音樂情緒的方法，是藉助於網路上眾多網友對同一音樂所寫下的印象關鍵字詞，稱為標籤(tag)。電腦利用人工智慧技術，可學會由音樂的標籤判斷表現的情緒。本校博士生王如江與中研院合組團隊，已連續在2009及2010之國際最大電腦音樂競賽MIREX，奪得此項比賽之準確性冠軍[5]。

[1] W. T. Peng, E. W. Huang, W. L. Chang, P. C. Huang, J. Y. Bai, H. R. Chen, S. Y. Chien, S. K. Jeng, Y. P. Hung, L. C. Fu, L. S. Lee,“Virtual Conduction System with Multi-Resolution Wall Display,” 2007 IEEE International Conference on Multimedia and Expo., July 2007.

[2] T. L. Wu, H. K. Wang, C. C. Ho, Y. P. Lin, T. T. Hu, M. F. Weng, L. W. Chan, C. H. Yang, Y. H. Yang, Y. P. Hung, Y. Y. Chuang, H. H. Chen, H. H. Chen, J. H. Chen, and S. K. Jeng, "Interactive content presentation based on expressed emotion and physiological feedback," Proceeding of the 16th ACM international conference on Multimedia, Vancouver, British Columbia, Canada , 2008,pp. 1009-1010.(DEMONSTRATION SESSION: Demo session 2).

[3] Y. H. Yang, Y. C. Lin, Y. F. Su, H. H. Chen, “A regression approach to music emotion recognition,” IEEE Transactions on Audio, Speech, and Language Processing, vol. 16, no. 2, February 2008, pp. 448-457.

[4] Y. H. Yang, Y. C. Lin, H. T. Cheng, H. H. Chen, “Mr. Emo: music retrieval in the emotion plane,” Proceeding of the 16th ACM international conference on Multimedia, Vancouver, British Columbia, Canada , 2008,. 1003-1004.

[5] J. C. Wang, H. Y. Lo, S. K. Jeng, and H. M. Wang, “MIREX 2010: Audio classification using semantic transformation and classifier ensemble,” 1st place (Audio Tag Classification), Music Information Retrieval Evaluation eXchange (MIREX 2010) in 11th International Society for Music Information Retrieval Conference (ISMIR 2010), Utrecht, Netherlands, August 2010.