服務故事

為了把科技教育的多元面向帶進花東，公益平台繼2018和2019年和成功大學資工系蘇文鈺教授創辦的「愛自造者學習協會」（簡稱PTWA）合作在花東舉辦「PTW全國自走車大賽」，今年3月12日蘇教授與他帶領的成大SCREAM Lab.尖叫實驗室、清華大學AI樂團，以及中研院蘇黎助研究員的團隊在台東均一國際實驗學校舉辧了「虛擬音樂會—科技音樂與AI的雙向座談」，舞台上是均一的高二學生拉小提琴，或是清大的四位提琴手，而合奏的是，現身在投影幕上由程式即時演算的虛擬樂團。蘇教授於音樂會開演前，也和清華大學資訊系統與應用研究所胡敏君教授與均一師生分享VR/AR、資工相關科系的學習以及特殊選才。藉此我們邀請熱愛人文與科技的蘇教授聊聊他和團隊的狂想、音樂與科技結合的海內外動態以及他對程式語言的想法。

(文/ 蘇文鈺)

我從小時候就很喜歡音樂，對聲音的感知很敏銳，我的姊姊在父母親的安排下學習鋼琴，那時我也很想學，但是父親認為學音樂是女生的事，我只要好好讀書就好。還好父親沒讓我學琴，因為我的手並不靈巧，學習彈鋼琴應該不會有太大的成就。那時對讀書沒多大興趣，但是因為不能學琴，所以轉而聽音響，小六開始拿烙鐵從學習焊接電子學習套件開始，國三立志成為一個電機工程師，以後要設計音響以及開一間音響店。我自己從西洋鄉村樂與搖滾樂開始聽，後來越聽越廣，直到有一次聽到貝多芬的交響曲後，一頭栽進古典音樂的世界，到來研究所開始聽爵士樂，也在回國後學習拉大提琴以及古琴。

傳統的觀念，電機工程與音樂是相隔很遙遠的領域，一般來說，讀電機的跨過去音樂領域比較可能，例如清大電機系的劉奕汶教授以及AI Lab的楊奕軒教授。1993年我到史丹佛大學擔任博士後研究，當時研究中心的幾位頂尖的博士後研究員與博士生在大學或碩士生時代是主修音樂的，例如Vocaloid技術（Vocaloid就是創造「初音未來」的團隊所開發的歌唱合成引擎）的關鍵人物Xavier Serra，他小時學大提琴與吉他，研究所主修音樂，到博士班時才正式踏入資訊電機領域從事聲音的研究，現在則從事多元文化音樂計算的研究。   

音樂訊號分析的狂想

那麼音樂跟AI又有什麼關係呢？假如大家有看過史丹利庫貝力克執導的「2001 Space Odyssey」，裡面虛構的人工智慧電腦，他最開始的訓練資料是一首兒歌，這首兒歌正是有電腦音樂之父之稱的Max Matthew用電腦技術合成的（Max也是一位很棒的小提琴演奏者）。從有人工智慧這項技術稱號開始，音樂就一直與AI的關係很密切，從聲音的合成，辨識，直到作曲等等都是。舉例來說，許多偉大的作曲家在生前未完成的作品，例如Bach（巴哈）的賦格的藝術、莫札特的安魂曲、舒伯特的未完成交響曲、普契尼的杜蘭朵公主等等，長久以來，一直有科學家想用人工智慧的技術來替這些偉大的作品補足尚未完成的部分。而自動作曲的好壞也常被用來評斷一項AI技術的優良與否，幾年前，一項深度學習技術DeepBach就以自動作曲的方式譜出Bach風格的聖詠，許多音樂系學生都分辨不出到底哪一首是Bach的作品，哪一首是電腦做的呢！ 

這幾年，我在成功大學所帶領的SCREAM Lab（尖叫實驗室）就對樂譜的分析有著一點小小的進展。一份樂譜，如果不是專業的音樂家，很難一下子就可以為這份樂譜斷句以及決定演奏方式。幾年前，我們就開始從事讓電腦自動斷句以及找出樂譜中音樂理論上的特徵這件事，一開始我們採用的是監督式學習的方法，也就是需要提供巨量的標準訓練樣本的方法，但是我們好奇電腦是否可以透過「閱讀」未經正確標記的作曲家的作品，以非監督式學習的方式來學習。

有趣的是，以莫札特的樂曲作為學習資料，以及用海頓的樂曲作為學習資料，可以得出不同的分析結果，雖然兩份結果各有優劣，但是解讀樂譜的方式可以看出兩位作曲家在各自曲風上的不同。其結果讓我們大感振奮，也就是我們可以讓電腦自己來決定用什麼樣的呼吸、輕重與斷句來演奏一首新的曲子，這是一項過去從未有人做過的實驗，我們自己也還在了解電腦到底是怎麼解讀樂譜的。從這個點，我們想要進一步讓演算法可以在解讀樂譜的能力上更強大，同時也要去回顧更多音樂的作曲理論，如果研究的人本身的音樂能力很好，跨領域過來一定可以做得比我們還好。無論如何這個研究結果在今年起開始被整合到我們的虛擬樂團所需要的技術了。  

出於對聲音與音樂的痴迷

虛擬擴增實境（AR）管弦樂團計畫的發想是「初音未來」這位虛擬歌手，但是我們想做得更遠更完整。許多喜歡玩音樂的朋友在很多場合會需要有樂團幫其伴奏，也有作曲家需要有樂團幫忙首演其作品，但是雇用一個樂團的費用非常高，不是平常都可以有的，虛擬樂團的出現填補了這個空缺。虛擬樂團應用了很多機器學習的技術，從人物動作的分析與合成、樂器聲音的合成、樂譜的解讀等等都會用到。

我們從第一次演出時只有一位虛擬的低音大提琴樂手到今年已經發展出弦樂四重奏樂團，預計再過一年，我們可以把木管與銅管虛擬樂手都加進來，成為一個真正的管弦樂團，應用的範圍就更廣了。這個計畫裡，有作曲家、器樂演奏家、電腦科學家以及動畫家，是一個跨越領域的合作。在國外，這類的合作研究機會很多，不管是美國、歐洲、甚至是日本，這類升學、研究、就業與創業的機會非常多，從史丹佛大學的CCRMA研究中心，法國的IRCAM等等出發的新創團隊很多。我以前的學生廖偉翔博士目前在日本工作，我的幾位碩士班學生更聯手創立了Positive Grid這家以吉他應用為主的新創公司，這些團隊雖然是以技術開發為主，多數都有學習樂器，並且大量與音樂家合作，而合作的音樂家們也都熟悉電腦與軟體的操作，舉例來說，師範大學的趙菁文教授與清大的林怡君老師都是專業的音樂人，我所認識的Xavier Serra、Perry Cook、Gary Scavone、Chris Chafe，還有FM合成技術的發明者John Chowning等等不僅身具音樂專業，寫起程式來ㄧ點也不輸給資訊專業的人。

程式語言的「跨」幅想像

在台灣，我們常常用領域來區分人，好像音樂藝術領域的人就很難跨過去理工領域，好像音樂家或是藝術家的數學邏輯就一定不好，但是在外國是不會這麼把人定得死死的，每一個分析Bach與Beethoven（貝多芬）的作品的人都會認為這樣的偉大作曲家如果來學數理一定也不會差。

在我的心中，程式是一種語言，音樂也是一種語言，而前者顯然簡單多了。

程式語言有它的語法與邏輯，跟自然語言（Natural Language）以及音樂語言不一樣的地方是，它的語法量相對少很多，卻必須要絕對遵守，程式語言的邏輯相對於音樂語言與自然語言也是簡單的，只不過要用相對簡單的邏輯來完整表達一件工作所需要的是，把簡單的邏輯進一步組合成較為複雜的邏輯。雖然完成一件工作的語法與邏輯可以有很多種組合，但是程式語言沒有模糊的空間，也就是比較有絕對的對錯，也就是程式寫得好與不好可能不會影響運算出來的結果。從複雜度來看，擅長音樂與語言的人來學程式語言的障礙不會有想像中的高，只不過起步時因為有絕對的對錯，會讓一般人覺得艱難與麻煩，但是一但越過了初步的門檻，後面就相對簡單了。在我的碩士班學生之中，有入學前沒寫過程式的心理系學生，在入學後的一年之中就已經可以用比較簡單使用的程式語言完成許多工作了。 

既然程式是一種語言，所以早一點學會比晚一點學要好一點，但是也僅止於好一點點而已，就如同小的時候學國語一樣，重要的是有沒有環境可以運用學來的語言。現在很多孩子都比我當年更早學習英文，所以英文講得比我還好，但是對我來說，英文是一種工具，我的口說英文台灣口音很重，也沒有時間去改，但是我讀學術上要用的英文文章並沒有障礙，可以用英文寫簡單的文章，也可以用英文與外國人交談，對我來說這樣就很夠了。以音樂與藝術的應用為例，甚至是更接近資訊技術多一點的網路與人工智慧這些看似需要很好的程式功力的應用，它們並不需要非常精湛的程式設計能力，只要可以驗證出你的研究發明就可以了，只有部分與資訊領域與程式設計非常密切的領域才會很講究程式功力。當然，如果你想要以你的研發技術創業，那麼就確實需要在程式設計上多花一點功夫。

如果你願意在尚未進入大學的階段學一點程式設計，那麼利用電腦確實可以幫助你實現你的很多想法（很多學生因為玩手機上的遊戲，所以很想自己寫程式設計遊戲），但是如果你進了大學再學也不會太晚，不用太過緊張，重點還是你學了這個技術想做什麼，而且也真正去做了，就像學了英文不該只是為了應付考試，而是把英文用在實際的地方。

至於大學端，在AI方面是跑得比較快的，有很理論的AI架構與演算法的課程，也有把AI應用在很多跨領域的研究，我這邊說的音樂應用就是眾多跨領域應用之一，有部電腦，會一點程式設計、再加上充足的領域知識等等，本來就已經可以做很多有趣的東西了，現在再加上AI，可以做的事不僅更多，還可以更好。

“To be or not to be”

前面說過，台灣的學生（甚至是老師）常常被自己所唸的科系所限制住，很難跨出自己原有的舒適圈，就像習於考試的學生不喜歡實作，學音樂的就一定要當演奏家，做硬體設計的軟體就不太行，擅長動手的卻不願意去讀更高深的理論讓自己更強，這是很可惜的事。3月12日在台東均一國際實驗學校的虛擬樂團音樂會以及座談會之中，雖然我們能夠擁用的資源相對國外頂尖大學少很多，人手也不充足，如果要做到像是「初音未來」那樣，確實需要更多的經費與人力，但是目前我們仍然可以打造出實際可用的系統與應用，讓大家體會到科技可以為音樂做些什麼，同時音樂在科技的輔助下，能夠為人類做很多事，期待未來幾年我們可以得到更多資源的協助，打出國際知名度。 

這個世界的變化太快，已經容不得一個人一生只會做一兩件事，唯有從讀書、生活、工作中找到樂趣與好奇點，以此為基礎不斷去學習新的事物與能力，我的師兄們是如此，我的學生有的也是如此。時代進步了，均一學校的學生已經比其他多數公立學校的學生接受到更多新的概念，希望你們每一個人也都可以如此，畢竟這個世界有太多只要你投入時間與努力，就可以找到很多有趣的事來做。

（照片提供：胡敏君老師、均一國際實驗學校）