内容來源：華為開發者大會2021 HMS Core 6 Media技術論壇，主題演講《音頻制作的現狀與發展趨勢》。
演講嘉賓：華為音頻算法研究進階工程師
大家好！我是來自華為音頻工程部的工程師。今天很高興跟大家分享關于音頻制作的現狀以及我們所了解的音頻發展趨勢。
從留聲機、黑膠唱片到MP3、CD，音頻已經發展了很多年，并且一直以來都沿着兩條比較大的主線進行發展。一個是超高清的發展方向，音頻的數字品質越來越高，碼率越來越低。對于人類來說的音頻範圍是20到22赫茲，17K以上的音頻基本上聽不到了。
另外一個發展方向就是我今天要說的主題——沉浸式。我們平常聽到的聲音是從四面八方來的，比如我們右上角有鳥叫，左邊有照相機的咔嚓聲，聲音是從周圍各個方向過來的。最開始音頻的錄音和回放都受到一定的限制，剛開始是單聲道，單聲道的意思就是聲源從一個點飛過來，不會涵蓋太多的内容，稱之為點聲源，有很多混音師和音樂人在單聲道年代做了不少的嘗試，比如增加混響和色染來形成一定的空間感，但是受限于它的單聲道，效果是遠遠不夠的。
到立體式和雙聲道的時代，又通過給左右聲道賦予不同的内容，來呈現更多的空間感和故事感，在過去60、70年代有很多前沿的樂隊都在用雙聲道給使用者帶來不一樣的體驗。比如音樂裡面把人聲和吉他分左右兩個聲道，讓使用者感覺像是在現場聽到演奏一樣；再比如波希米亞狂想曲，就是把兩個人不同的合聲放在左右，形成對話的感覺，通過給左右聲道分别不同的内容來形成更強的故事感，更能給聽衆帶入音樂叙述的邏輯，那個時候從單聲道到立體聲是很大的跨越。
後來從環繞聲到三維聲，增加的内容不僅僅是左右聲道的内容，而是從前後左右甚至是上下的方向都有不同的聲源傳入耳朵裡，這樣，使用者就會有更大的空間來編輯他們的聲源，使用者也有更多的沉浸感。後面我們會進入6自由度空間聲的時代，讓你有更強的空間感。現在我們正處于從一個立體聲、環繞聲往三維聲包圍的曆史節點。
現在越來越多音樂人用三維聲制作音樂，但三維聲的制作還在比較初級的階段，混音的範式混音師還在摸索中。三維聲對于專業的混音師來說是多聲道回放的環境，但是目前大部分使用者主要還是依賴耳機進行回放，目前主要針對耳機進行三維聲音樂推廣的的友商是索尼的360 reality和蘋果音樂與杜比合作的dolby atmos music，當然也可以通過IMU耳機實作三維聲回放探索，戴上IMU耳機就會有頭在轉、音源固定在那裡的一種感覺。
現有的三維聲制作流程是怎樣的呢？
首先會有一個作曲和編曲，我們需要找專業的人士來進行唱歌和樂器的錄音，然後我們會将錄完的這些分軌素材導入數字音頻的工作站，數字音頻的工作站裡面經由專業混音師的巧手來進行插件，最後生成三維聲音頻并通過多聲道來進行回放。
那麼，HMS Core可以做成怎麼樣？
先是通過AI作曲能力輔助各位進行編曲創作，然後基于我們提供的TTSing歌聲合成能力，讓大家更快合成比較專業的音頻，經Audio Edior kit将2D轉成3D，然後在UGC或PUGC制作過程中，産生他們自己的3D音頻，最後形成雙耳回放或多聲道回放并進行耳機監聽。
AI作曲配器
接下來跟大家介紹一下AI作曲配器。我們平時走路過程當中會哼一些小調的靈感，通過AI作曲就會自動生成曲子。目前AI作曲的能力主要集中在民謠和國風。我們可以更好地服務大家去迎合消費者的市場，To C可以輔助PGC、使能UGC音樂創作，降低創作門檻；To B可以提供罐頭音樂，減少音樂版權費用，支撐自有應用和合作夥伴商業成功。
TTSing歌聲合成
有了詞曲以後如何進行TTSing歌聲合成呢？使用者可以把曲譜資訊輸入到TTSing歌聲，感受一下詞曲配上這個歌聲的能力，配合剛才AI作出的曲子再加上歌詞聽聽效果。
2D轉3D
有了樂器軌、樂曲軌和歌聲以後，就可以導入音頻2D轉3D的能力，可以通過互動界面簡單拖動，也可以通過手機Media傳感器指揮，把這些軌渲染到空間中任何一個位置，愛後進行雙耳回放就可以聽到最終合成的歌曲。是不是沒有曲子和能力就不能做這個空間的渲染？不是的，我們支援大家把普通的雙聲道、MP3導到2D轉3D的能力，自動分析出這裡面有鋼琴和人聲，然後指定鋼琴裡面某一個元素，通過渲染到空間每個位置進行雙耳渲染，即使是老歌，也可以轉成三維聲的音樂，創造屬于你自己的音樂。
這就是我們HMS Core三維聲的制作流程，我們可以提供AI作曲配器、TTSing歌聲合成以及音樂2D轉3D的能力，通過HMS Core服務，我們可以為UGC、PUGC使用者提供便捷的制作。
現在我們正面臨現實和虛拟的交界處，現在很火的概念就是元宇宙，音頻更大的未來就是聲音元宇宙（Soudverse），通過空間聲學進行聲宇宙的建構，未來我們會提供更多的計算聲學和空間聲學、聲源合成和空間渲染的能力，幫助大家通過使用HMS Core的能力快速進行一個聲宇宙的建構。
謝謝大家！
了解更多詳情>>
通路華為開發者聯盟官網
擷取開發指導文檔
華為移動服務開源倉庫位址：GitHub、Gitee
關注我們，第一時間了解 HMS Core 最新技術資訊~