從單聲道、立體聲、環繞聲發展到三維聲，音頻回放技術的疊代演進是為了還原真實世界的聲音。其中，三維聲技術使用信号處理的方法對到達兩耳的聲音信号進行模拟，将聲場還原為三維空間，更接近真實世界。憑借這個技術，各廠商在遊戲、影視、音樂等場景中為使用者創造更真實自然且沉浸的聽覺體驗，也實作了更好的使用者訂閱增長。
傳統3D音頻的制作需擷取原始的分軌素材（如錄制的人聲、鋼琴聲等），并使用專業的數字音頻工作站（DAW）和3D混音插件手工制作，是以制作周期長、生産效率低、成本高、門檻高。此外，開發者由于沒有歌曲的原始分軌，是以通過傳統方法進行3D音頻制作的難度很大。HMS Core音頻編輯服務（Audio Editor Kit）提供了音源分離（擷取分軌）、空間音頻渲染能力，開發者僅需輸入立體聲，就能快速生成3D音頻内容，提升使用者音頻體驗和提升産品競争力！
HMS Core音頻編輯服務3D音頻生成示意圖
音源分離技術
由于我們目前接觸到的音頻大都是立體聲，所有音頻對象（如音樂中的人聲、鋼琴、吉他等）都已經混合在左右兩個聲道當中，無法輕易地分開，更不要提将其渲染放置在不同的空間位置，是以将立體聲中的特定元素分離是3D化的一個核心技術。
華為算法團隊通過對大量的音樂進行深度學習模組化，并結合傳統信号處理能力最終實作音源分離：首先利用短時傅裡葉變換（STFT）将一維的音頻信号變換到二維的時頻譜；然後将得到的二維的時頻譜與原始的一維時域信号一起作為雙流輸入，通過多層的殘差編碼及大量資料的訓練，獲得目标樂器的隐空間表達；最後進一步通過一系列的變換矩陣最終還原成原始的對象立體聲信号。上述處理過程中使用的變換矩陣和網絡結構是華為的獨特技術，是針對不同的樂器音色特點專門設計的，能夠確定每一個樂器都能盡可能的分離完整且幹淨，為3D化提供足夠優質的分軌素材。其涉及的核心能力包括：
1、 音頻信号特征提取：包括通過編碼器從時域信号直接提取特征，以及通過短時傅裡葉變換從時域信号提取時頻譜特征；
2、 深度學習模型建構：加入殘差子產品與注意力機制，增強對不同樂器諧波模組化能力與時序關聯能力；
3、 多通道維納濾波：結合傳統信号處理的能力，通過深度學習模組化預測對象與非對象功率譜關系，建構與處理濾波系數。
音頻分離技術示意圖
目前，HMS Core已對外開放了12種音源分離的能力（人聲、伴奏、鼓、小提琴、貝斯、鋼琴、木吉他、電吉他、弦樂、主唱、帶伴唱伴奏和管弦樂），幫助開發者快速地提取出自己想要的樂器進行3D化編輯。
空間音頻渲染技術
僅通過兩隻耳朵收聽外部聲音，人類為什麼可分辨聲源的位置呢？這是由于從聲源傳遞到兩隻耳朵的聲音實際上存在細微的差異，包括到達時間、接收到的能量、以及相位差等資訊。而這些資訊差綜合展現在一系列傳遞函數，稱為頭相關傳遞函數（HRTF）。通過将HRTF疊加到單點聲源，我們就可以虛拟出真實世界中聲音的方位直達聲的部分。為解決因頭型、肩寬等人體體征的差異帶來的HRTF因人而異的難題，我們通過大量資料的分析，設計了一套較普适的HRTF，可以讓每個人都能享受到3D音頻。另外為了營造空間中聲音的反射、散射、幹涉等實體現象，我們還通過疊加一系列的房間相應函數（RIR）來建構真實的空間，形成所謂的混響。是以，通過一系列的HRTF和RIR對聲源進行濾波，我們就可以将之前分離的素材進行3D化，形成3D音樂。
空間音頻渲染技術示意圖
目前，HMS Core音頻編輯服務提供的音源分離、空間音頻渲染服務這套組合拳已經應用在華為音樂的進階音效當中，使用者可以進入華為音樂音效頁面，在進階音效欄目中選擇聲空音效或聲樂純享，感受3D音頻的魅力。
華為音樂聲空音效與聲樂純享功能
以上技術來自華為2012實驗室，通過HMS Core音頻編輯服務面向開發者開放，在音樂音頻領域為使用者帶來差異化的3D音頻體驗。其他更多關于HMS Core音頻編輯服務的資訊，請通路華為開發者聯盟-HMS Core音頻編輯服務官網