Qualcomm Audio HAL 音頻通路設定【轉】

1. 音頻框圖概述

*************

PCM0 <------------> * * <----DAI0-----> Codec Headset

* *

PCM1 <------------> * * <----DAI1-----> Codec Speakers/Earpiece

* DSP *

PCM2 <------------> * * <----DAI2-----> MODEM

PCM3 <------------> * * <----DAI3-----> BT

* * <----DAI4-----> DMIC

* * <----DAI5-----> FM

Front End PCMs：音頻前端，一個前端對應着一個 PCM 裝置

Back End DAIs：音頻後端，一個後端對應着一個 DAI 接口，一個 FE PCM 能夠連接配接到一個或多個 BE DAI

Audio Device：有 headset、speaker、earpiece、mic、bt、modem 等；不同的裝置可能與不同的 DAI 接口連接配接，也可能與同一個 DAI 接口連接配接（如上圖，Speaker 和 Earpiece 都連接配接到 DAI1）

Soc DSP：本文範圍内實作路由功能：連接配接 FE PCMs 和 BE DAIs，例如連接配接 PCM0 與 DAI1：

PCM0 <============> *<====++ * <----DAI0-----> Codec Headset

* || *

PCM1 <------------> * ++===>* <====DAI1=====> Codec Speakers/Earpiece

* DSP *

高通 MSM8996 音頻框圖：

FE PCMs：

deep_buffer

low_latency

mutil_channel

compress_offload

audio_record

usb_audio

a2dp_audio

voice_call

BE DAIs：

SLIM_BUS

Aux_PCM

Primary_MI2S

Secondary_MI2S

Tertiary_MI2S

Quatermary_MI2S

2. HAL 中的 usecase 和 device

usecase 通俗表示音頻場景，對應着音頻前端，比如：

low_latency：按鍵音、觸摸音、遊戲背景音等低延時的放音場景

deep_buffer：音樂、視訊等對時延要求不高的放音場景

compress_offload：mp3、flac、aac等格式的音源播放場景，這種音源不需要軟體解碼，直接把資料送到硬體解碼器（aDSP），由硬體解碼器（aDSP）進行解碼

record：普通錄音場景

record_low_latency：低延時的錄音場景

voice_call：語音通話場景

voip_call：網絡通話場景

/* These are the supported use cases by the hardware.

* Each usecase is mapped to a specific PCM device.

* Refer to pcm_device_table[].

enum {

USECASE_INVALID = -1,

/* Playback usecases */

USECASE_AUDIO_PLAYBACK_DEEP_BUFFER = 0,

USECASE_AUDIO_PLAYBACK_LOW_LATENCY,

USECASE_AUDIO_PLAYBACK_MULTI_CH,

USECASE_AUDIO_PLAYBACK_OFFLOAD,

USECASE_AUDIO_PLAYBACK_ULL,

/* FM usecase */

USECASE_AUDIO_PLAYBACK_FM,

/* HFP Use case*/

USECASE_AUDIO_HFP_SCO,

USECASE_AUDIO_HFP_SCO_WB,

/* Capture usecases */

USECASE_AUDIO_RECORD,

USECASE_AUDIO_RECORD_COMPRESS,

USECASE_AUDIO_RECORD_LOW_LATENCY,

USECASE_AUDIO_RECORD_FM_VIRTUAL,

/* Voice usecase */

USECASE_VOICE_CALL,

/* Voice extension usecases */

USECASE_VOICE2_CALL,

USECASE_VOLTE_CALL,

USECASE_QCHAT_CALL,

USECASE_VOWLAN_CALL,

USECASE_VOICEMMODE1_CALL,

USECASE_VOICEMMODE2_CALL,

USECASE_COMPRESS_VOIP_CALL,

USECASE_INCALL_REC_UPLINK,

USECASE_INCALL_REC_DOWNLINK,

USECASE_INCALL_REC_UPLINK_AND_DOWNLINK,

USECASE_AUDIO_PLAYBACK_AFE_PROXY,

USECASE_AUDIO_RECORD_AFE_PROXY,

USECASE_AUDIO_PLAYBACK_EXT_DISP_SILENCE,

AUDIO_USECASE_MAX

};

device 表示音頻端點裝置，包括輸出端點（如 speaker、headphone、earpiece）和輸入端點（如 headset-mic、builtin-mic）。高通 HAL 對音頻裝置做了擴充，比如 speaker 分為：

SND_DEVICE_OUT_SPEAKER：普通的外放裝置

SND_DEVICE_OUT_SPEAKER_PROTECTED：帶保護的外放裝置

SND_DEVICE_OUT_VOICE_SPEAKER：普通的通話免提裝置

SND_DEVICE_OUT_VOICE_SPEAKER_PROTECTED：帶保護的通話免提裝置

類似還有很多，詳見 platform.h 音頻裝置定義，下面僅列舉一部分：

/* Sound devices specific to the platform

* The DEVICE_OUT_* and DEVICE_IN_* should be mapped to these sound

* devices to enable corresponding mixer paths

SND_DEVICE_NONE = 0,

/* Playback devices */

SND_DEVICE_MIN,

SND_DEVICE_OUT_BEGIN = SND_DEVICE_MIN,

SND_DEVICE_OUT_HANDSET = SND_DEVICE_OUT_BEGIN,

SND_DEVICE_OUT_SPEAKER,

SND_DEVICE_OUT_HEADPHONES,

SND_DEVICE_OUT_HEADPHONES_DSD,

SND_DEVICE_OUT_SPEAKER_AND_HEADPHONES,

SND_DEVICE_OUT_SPEAKER_AND_LINE,

SND_DEVICE_OUT_VOICE_HANDSET,

SND_DEVICE_OUT_VOICE_SPEAKER,

SND_DEVICE_OUT_VOICE_HEADPHONES,

SND_DEVICE_OUT_VOICE_LINE,

SND_DEVICE_OUT_HDMI,

SND_DEVICE_OUT_DISPLAY_PORT,

SND_DEVICE_OUT_BT_SCO,

SND_DEVICE_OUT_BT_A2DP,

SND_DEVICE_OUT_SPEAKER_AND_BT_A2DP,

SND_DEVICE_OUT_AFE_PROXY,

SND_DEVICE_OUT_USB_HEADSET,

SND_DEVICE_OUT_USB_HEADPHONES,

SND_DEVICE_OUT_SPEAKER_AND_USB_HEADSET,

SND_DEVICE_OUT_SPEAKER_PROTECTED,

SND_DEVICE_OUT_VOICE_SPEAKER_PROTECTED,

SND_DEVICE_OUT_END,

/* Capture devices */

SND_DEVICE_IN_BEGIN = SND_DEVICE_OUT_END,

SND_DEVICE_IN_HANDSET_MIC = SND_DEVICE_IN_BEGIN, // 58

SND_DEVICE_IN_SPEAKER_MIC,

SND_DEVICE_IN_HEADSET_MIC,

SND_DEVICE_IN_VOICE_SPEAKER_MIC,

SND_DEVICE_IN_VOICE_HEADSET_MIC,

SND_DEVICE_IN_BT_SCO_MIC,

SND_DEVICE_IN_CAMCORDER_MIC,

SND_DEVICE_IN_END,

SND_DEVICE_MAX = SND_DEVICE_IN_END,

擴充這麼多是為了友善設定 acdb id，比如外放和通話免提雖然都用了同樣的喇叭裝置，但是這兩種情景會使用不同的算法，是以需要設定不同的 acdb id 到 aDSP，區分 SND_DEVICE_OUT_SPEAKER 和 SND_DEVICE_OUT_VOICE_SPEAKER 是為了比對到各自的 acdb id。

由于高通 HAL 定義的音頻裝置與 Android Framework 定義的不一緻，是以在高通 HAL 中會根據音頻場景對架構層傳入的音頻裝置進行轉換，詳見：

platform_get_output_snd_device()

platform_get_input_snd_device()

在高通 HAL 中，我們隻看到 usecase（即 FE PCM）和 device，那麼上一個節中提到的 BE DAI 為什麼沒有被提及？很簡單，device 和 BE DAI 是“多對一”的關系，device 連接配接着唯一的 BE DAI（反過來就不成立了，BE DAI 可能連接配接着多個 device），是以确定了 device 也就能确定所連接配接的 BE DAI。

3. 音頻通路連接配接

簡單描述下高通 HAL 層音頻通路的連接配接流程。如音頻框圖概述所示，音頻通路分為三大塊：FE PCMs、BE DAIs、Devices，這三塊均需要打開并串聯起來才能完成一個音頻通路的設定。

FE_PCMs <=> BE_DAIs <=> Devices

3.1. 打開 FE PCM

FE PCMs 是在音頻流打開時設定的，我們首先要了解一個音頻流對應着一個 usecase，具體細節請參考：Android 音頻系統：從 AudioTrack 到 AudioFlinger

AudioTrack、AudioFlinger Threads、AudioHAL Usecases、AudioDriver PCMs 的關系如下圖所示：

start_output_stream() 代碼分析：

// 根據 usecase 找到對應 FE PCM id

int platform_get_pcm_device_id(audio_usecase_t usecase, int device_type)

{

int device_id = -1;

if (device_type == PCM_PLAYBACK)

device_id = pcm_device_table[usecase][0];

else

device_id = pcm_device_table[usecase][1];

return device_id;

}

int start_output_stream(struct stream_out *out)

int ret = 0;

struct audio_usecase *uc_info;

struct audio_device *adev = out->dev;

// 根據 usecase 找到對應 FE PCM id

out->pcm_device_id = platform_get_pcm_device_id(out->usecase, PCM_PLAYBACK);

if (out->pcm_device_id < 0) {

ALOGE("%s: Invalid PCM device id(%d) for the usecase(%d)",

__func__, out->pcm_device_id, out->usecase);

ret = -EINVAL;

goto error_open;

}

// 為這個音頻流建立一個 usecase 執行個體

uc_info = (struct audio_usecase *)calloc(1, sizeof(struct audio_usecase));

if (!uc_info) {

ret = -ENOMEM;

goto error_config;

uc_info->id = out->usecase; // 音頻流對應的 usecase

uc_info->type = PCM_PLAYBACK; // 音頻流的流向

uc_info->stream.out = out;

uc_info->devices = out->devices; // 音頻流的初始裝置

uc_info->in_snd_device = SND_DEVICE_NONE;

uc_info->out_snd_device = SND_DEVICE_NONE;

list_add_tail(&adev->usecase_list, &uc_info->list); // 把建立的 usecase 執行個體添加到連結清單中

// 根據 usecase、out->devices，為音頻流選擇相應的音頻裝置

select_devices(adev, out->usecase);

ALOGV("%s: Opening PCM device card_id(%d) device_id(%d) format(%#x)",

__func__, adev->snd_card, out->pcm_device_id, out->config.format);

if (!is_offload_usecase(out->usecase)) {

unsigned int flags = PCM_OUT;

unsigned int pcm_open_retry_count = 0;

if (out->usecase == USECASE_AUDIO_PLAYBACK_AFE_PROXY) {

flags |= PCM_MMAP | PCM_NOIRQ;

pcm_open_retry_count = PROXY_OPEN_RETRY_COUNT;

} else if (out->realtime) {

} else

flags |= PCM_MONOTONIC;

while (1) {

// 打開 FE PCM

out->pcm = pcm_open(adev->snd_card, out->pcm_device_id,

flags, &out->config);

if (out->pcm == NULL || !pcm_is_ready(out->pcm)) {

ALOGE("%s: %s", __func__, pcm_get_error(out->pcm));

if (out->pcm != NULL) {

pcm_close(out->pcm);

out->pcm = NULL;

}

if (pcm_open_retry_count-- == 0) {

ret = -EIO;

goto error_open;

usleep(PROXY_OPEN_WAIT_TIME * 1000);

continue;

}

break;

}

語音通話的情景有所不同，它不是傳統意義的音頻流，流程大概是這樣的：

進入通話時，上層會先設定音頻模式為 AUDIO_MODE_IN_CALL（HAL 接口是 adev_set_mode()），再傳入音頻裝置 routing=$device（HAL 接口是 out_set_parameters()）

out_set_parameters() 中檢查音頻模式是否為 AUDIO_MODE_IN_CALL，是則調用 voice_start_call() 打開語音通話的 FE_PCM

3.2. 路由選擇

我們在 mixer_pahts.xml 中看到 usecase 相關的通路：

</path>

這些通路其實就是連接配接 usecase、device 之間的路由。比如 “deep-buffer-playback speaker” 是連接配接 deep-buffer-playback FE PCM、speaker Device 之間的路由，打開 “deep-buffer-playback speaker”，則把 deep-buffer-playback FE PCM 和 speaker Device 連接配接起來；關閉 “deep-buffer-playback speaker”，則斷開 deep-buffer-playback FE PCM 和 speaker Device 的連接配接。

之前提到“device 連接配接着唯一的 BE DAI，确定了 device 也就能确定所連接配接的 BE DAI”，是以這些路由通路其實都隐含着 BE DAI 的連接配接：FE PCM 并非直接到 device 的，而是 FE PCM 先連接配接到 BE DAI，BE DAI 再連接配接到 device。這點有助于了解路由控件，路由控件面向的是 FE PCM 和 BE DAI 之間的連接配接，回放類型的路由控件名稱一般是： $BE_DAI Audio Mixer $FE_PCM，錄制類型的路由控件名稱一般是：$FE_PCM Audio Mixer $BE_DAI，這很容易分辨。

例如 “deep-buffer-playback speaker” 通路中的路由控件：

MultiMedia1：deep_buffer usacase 對應的 FE PCM

QUAT_MI2S_RX：speaker device 所連接配接的 BE DAI

Audio Mixer：表示 DSP 路由功能

value：1 表示連接配接，0 表示斷開連接配接

這個控件的意思是：把 MultiMedia1 PCM 與 QUAT_MI2S_RX DAI 連接配接起來。這個控件并沒有指明 QUAT_MI2S_RX DAI 與 speaker device 之間的連接配接，因為 BE DAIs 與 Devices 之間并不需要路由控件，如之前所強調”device 連接配接着唯一的 BE DAI，确定了 device 也就能确定所連接配接的 BE DAI“。

路由控件的開關不僅僅影響 FE PCMs、BE DAIs 的連接配接或斷開，同時會使能或禁用 BE DAIs，要深入了解這點的話需要去研究 ALSA DPCM（Dynamic PCM）機制，這裡稍作了解即可。

路由操作函數是 enable_audio_route()/disable_audio_route()，這兩個函數名稱很貼合，控制 FE PCMs 與 BE DAIs 的連接配接或斷開。

代碼流程很簡單，把 usecase 和 device 拼接起來就是路由的 path name 了，然後再調用 audio_route_apply_and_update_path() 來設定路由通路：

const char * const use_case_table[AUDIO_USECASE_MAX] = {

[USECASE_AUDIO_PLAYBACK_DEEP_BUFFER] = "deep-buffer-playback",

[USECASE_AUDIO_PLAYBACK_LOW_LATENCY] = "low-latency-playback",

//...

const char * const backend_tag_table[SND_DEVICE_MAX] = {

[SND_DEVICE_OUT_HANDSET] = "earphones";

[SND_DEVICE_OUT_SPEAKER] = "speaker";

[SND_DEVICE_OUT_SPEAKER] = "headphones";

void platform_add_backend_name(char *mixer_path, snd_device_t snd_device,

struct audio_usecase *usecase)

if ((snd_device < SND_DEVICE_MIN) || (snd_device >= SND_DEVICE_MAX)) {

ALOGE("%s: Invalid snd_device = %d", __func__, snd_device);

return;

const char * suffix = backend_tag_table[snd_device];

if (suffix != NULL) {

strlcat(mixer_path, " ", MIXER_PATH_MAX_LENGTH);

strlcat(mixer_path, suffix, MIXER_PATH_MAX_LENGTH);

int enable_audio_route(struct audio_device *adev,

struct audio_usecase *usecase)

snd_device_t snd_device;

char mixer_path[MIXER_PATH_MAX_LENGTH];

if (usecase == NULL)

return -EINVAL;

ALOGV("%s: enter: usecase(%d)", __func__, usecase->id);

if (usecase->type == PCM_CAPTURE)

snd_device = usecase->in_snd_device;

snd_device = usecase->out_snd_device;

strlcpy(mixer_path, use_case_table[usecase->id], MIXER_PATH_MAX_LENGTH);

platform_add_backend_name(mixer_path, snd_device, usecase);

ALOGD("%s: apply mixer and update path: %s", __func__, mixer_path);

audio_route_apply_and_update_path(adev->audio_route, mixer_path);

ALOGV("%s: exit", __func__);

return 0;

3.3. 打開 Device

Android 音頻架構層中，音頻裝置僅表示輸入輸出端點，它不關心 BE DAIs 與端點之間都經過了哪些部件（widget）。但我們做底層的必須清楚知道：從BE DAIs 到端點，整條通路經曆了哪些部件。如下圖的外放通路：

為了使得聲音從 speaker 端點輸出，我們需要打開 AIF1、DAC1、SPKOUT 這些部件，并把它們串聯起來，這樣音頻資料才能順着這條路徑（AIF1>DAC1>SPKOUT>SPEAKER）一路輸出到 speaker。

在音頻硬體驅動中，定義各種控件用于部件的開關或連接配接，比如控件 “SPKL DAC1 Switch” 用于控制 SPKL、DAC1 的連接配接或斷開。具體細節請參考：Linux ALSA 音頻系統：實體鍊路篇

我們在 mixer_pahts.xml 中看到 speaker 通路：

這些裝置通路由 enable_snd_device()/disable_snd_device() 設定：

int enable_snd_device(struct audio_device *adev,

snd_device_t snd_device)

int i, num_devices = 0;

snd_device_t new_snd_devices[SND_DEVICE_OUT_END];

char device_name[DEVICE_NAME_MAX_SIZE] = {0};

if (snd_device < SND_DEVICE_MIN ||

snd_device >= SND_DEVICE_MAX) {

ALOGE("%s: Invalid sound device %d", __func__, snd_device);

// 裝置引用計數累加

adev->snd_dev_ref_cnt[snd_device]++;

// 根據 snd_device 找到對應的 device_name

if(platform_get_snd_device_name_extn(adev->platform, snd_device, device_name) < 0 ) {

ALOGE("%s: Invalid sound device returned", __func__);

// 裝置已經被打開了，直接傳回，不會重複打開裝置

if (adev->snd_dev_ref_cnt[snd_device] > 1) {

ALOGV("%s: snd_device(%d: %s) is already active",

__func__, snd_device, device_name);

return 0;

// 如果是帶保護的裝置，那麼先停止校準操作

if (audio_extn_spkr_prot_is_enabled())

audio_extn_spkr_prot_calib_cancel(adev);

if (platform_can_enable_spkr_prot_on_device(snd_device) &&

audio_extn_spkr_prot_is_enabled()) {

// 檢查帶保護的裝置有無合法的 acdb id，如果沒有合法的 acdb id，那麼保護算法無法被調用的

if (platform_get_spkr_prot_acdb_id(snd_device) < 0) {

adev->snd_dev_ref_cnt[snd_device]--;

return -EINVAL;

}

audio_extn_dev_arbi_acquire(snd_device);

// 打開帶保護的裝置，保護算法也開始運作

if (audio_extn_spkr_prot_start_processing(snd_device)) {

ALOGE("%s: spkr_start_processing failed", __func__);

audio_extn_dev_arbi_release(snd_device);

return -EINVAL;

} else if (platform_split_snd_device(adev->platform,

snd_device,

&num_devices,

new_snd_devices) == 0) {

// 鈴聲模式下，多裝置分割：比如 SND_DEVICE_OUT_SPEAKER_AND_HEADPHONES 先分割為

// SND_DEVICE_OUT_SPEAKER + SND_DEVICE_OUT_HEADPHONES，然後再一一打開 speaker

// 和 headphones 裝置

for (i = 0; i < num_devices; i++) {

enable_snd_device(adev, new_snd_devices[i]);

} else {

ALOGD("%s: snd_device(%d: %s)", __func__, snd_device, device_name);

// A2DP：打開藍牙裝置端

if ((SND_DEVICE_OUT_BT_A2DP == snd_device) &&

(audio_extn_a2dp_start_playback() < 0)) {

ALOGE(" fail to configure A2dp control path ");

audio_extn_dev_arbi_acquire(snd_device);

// 設定裝置通路

audio_route_apply_and_update_path(adev->audio_route, device_name);

值得注意的點有：

裝置引用計數：每個裝置都有各自的引用計數 snd_dev_ref_cnt，引用計數在 enable_snd_device() 中累加，如果大于 1，則表示該裝置已經被打開了，那麼就不會重複打開該裝置；引用計數在 disable_snd_device() 中累減，如果為 0，則表示沒有 usecase 需要該裝置了，那麼就關閉該裝置。

帶保護的外放裝置：帶 “audio_extn_spkr_prot” 字首的函數是帶保護的外放裝置的相關函數，這些帶保護的外放裝置和其他裝置不一樣，它雖然屬于輸出裝置，但往往還需要打開一個 PCM_IN 作為 I/V Feedback，有了 I/V Feedback 保護算法才能正常運作。

多輸出裝置的分割：多輸出裝置，一般指鈴聲模式下，外放裝置與其他裝置同時輸出的情形；platform_split_snd_device() 把多輸出裝置分割，比如 SND_DEVICE_OUT_SPEAKER_AND_HEADPHONES 分割為 SND_DEVICE_OUT_SPEAKER + SND_DEVICE_OUT_HEADPHONES，然後再一一打開 speaker、headphones。為什麼要把多輸出裝置分割為外放裝置+其他裝置的形式？現在智能手機的外放裝置一般都是帶保護的，需要跑喇叭保護算法，而其他裝置如藍牙耳機也可能需要跑 aptX 算法，如果沒有分割的話，隻能下發一個 acdb id，無法把喇叭保護算法和 aptX 算法都排程起來。多輸出裝置分割時，還需要遵循一個規則：如果這些裝置均連接配接到同一個 BE DAI，則無須分割。

int platform_split_snd_device(void *platform,

snd_device_t snd_device,

int *num_devices,

snd_device_t *new_snd_devices)

int ret = -EINVAL;

struct platform_data *my_data = (struct platform_data *)platform;

if (NULL == num_devices || NULL == new_snd_devices) {

ALOGE("%s: NULL pointer ..", __func__);

* If wired headset/headphones/line devices share the same backend

* with speaker/earpiece this routine returns -EINVAL.

if (snd_device == SND_DEVICE_OUT_SPEAKER_AND_HEADPHONES &&

!platform_check_backends_match(SND_DEVICE_OUT_SPEAKER, SND_DEVICE_OUT_HEADPHONES)) {

*num_devices = 2;

new_snd_devices[0] = SND_DEVICE_OUT_SPEAKER;

new_snd_devices[1] = SND_DEVICE_OUT_HEADPHONES;

ret = 0;

4. 音頻裝置切換

回放場景，架構層回調 HAL 層接口 out_set_parameters(“routing=$device”) 來切換輸出裝置

錄制場景，架構層回調 HAL 層接口 in_set_parameters(“routing=$device”) 來切換輸入裝置

這兩個函數最終都是調用 select_device() 來實作裝置切換的，select_device() 函數非常複雜，這裡僅闡述下主幹流程。

select_devices

disable_audio_route

disable_snd_device

check_usecases_codec_backend 檢查其他usecase是否也跟随切換裝置

platform_check_backends_match

disable_audio_route

disable_snd_device

enable_snd_device

enable_audio_route

enable_snd_device

enable_audio_route

4.1. 單 usecase 情景的裝置切換

4.2. 多 usecase 情景的裝置切換

–to be continued

Qualcomm Audio HAL 音頻通路設定【轉】

繼續閱讀

軟體錄制電腦揚聲器音頻的原理

JS 中常用取控件值的方法

iOS 開發中控件擷取焦點（swift 開發）

用swift開發儀表盤控件（二）

winform控件縮寫（三）菜單和工具欄

winform控件縮寫（一）标準控件

winform控件縮寫（二）容器控件

winform控件縮寫（六）元件

winform控件縮寫（四）資料

C#控件的縮寫格式

winform控件縮寫（五）對話框

winform控件縮寫（八、九）水晶報表和其他

Activity啟動模式解析

Android查缺補漏之Toolbar

Docker - Docker Volume及Volume指令詳解

不支援嘗試執行的操作