WebRTC 的回声消除技术在 Android 可视对讲程序中的应用

来源 http://www.qttaudio.com/webrtc-android.html

1 引言

随着移动互联技术的成熟和发展,智能手机上基于无线网络的可视对讲功能的应用已经开始逐步兴起。在Android系统上的此类应用程序的开发过程中,都会遇到声学回声问题。由于AEC技术非常复杂,需要非常专业的声学和音频处理技术。WebRTC的发布改变了这一局面。

2 WebRTC简介

WebRTC是谷歌公司2011年发布的一项技术。WebRTC技术主要用于在支持HTML5的浏览器上实现实时音视频对话。功能包括会话初始化协议SIP的实现、音视频编解码和音视频数据处理等等。经过源代码分析,将AEC部分的代码单独摘取出来,并编译成动态链接库,通过jni技术使Java代码调用动态链接库,实现高质量回声消除。

3 WebRTC的AEC模块实现原理

WebRTC的AEC模块采用自适应滤波算法实现回声消除。该算法以输出到扬声器的音频数据为依据,根据现场的回声路径特征,模拟出回声信号。以模拟回声信号为依据,从麦克风采集到的音频数据中滤除模拟回声信号。算法的实现原理如图1所示。y(n)代表远端语音数据,y(n)在交给近端扬声器播放的同时,还送到自适应滤波器,产生回声估计值d^(n)。x(n)代表近端有用语音,麦克风采集的数据是x(n)和y(n)产生的回声d(n)的叠加,即x(n)+d(n)。经滤波处理,最终近端语音数据为:u(n)=x(n)+d(n)-d^(n)。其中e(n)=d(n)-d^(n),称为回声消除误差。理想状态下,e(n)应为0。但现实中e(n)不可能为0。滤波器会根据e(n)的值自动调整滤波系数。

WebRTC 的回声消除技术在 Android 可视对讲程序中的应用

4 WebRTC的移植

我们将AEC模块分成了两个大块,第一个大块是音频处理的通用模块WebTRC_audio(该模块编译成功后生成“libwebrtc_spl.so”动态库,供第二大块调用),源代码位于WebRTC源代码根路径下的“common_audio\signal_processing”中。第二大块是WebRTC_aec(该模块编译成功后生成“libwebrtc_aec.so”动态库),源代码位于WebRTC源代码根路径下的“modules\audio_processing\aec”中。

如下是WebRTC_aec模块的编译脚本主要部分:

LOCAL_PATH:=$(call my-dir)

include $(CLEAR_VARS)

LOCAL_MODULE:=signal_prebuilt

LOCAL_SRC_FILES:=webrtc_signal/libwebrtc_spl.so

include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)

LOCAL_MODULE := libwebrtc_aec

LOCAL_SHARED_LIBRARIES := signal_prebuilt

include $(BUILD_SHARED_LIBRARY)

先看编译脚本的前五行,定义了一个预编译模块,即WebRTC_

a u d i o 块, 然后通过L O C A L _ S H A R E D _ L I B R A R I E S :=signal_prebuilt来导入该模块。

5 应用层多线程实现回声消除

如果想要成功消除回声,必须将近端数据和远端数据之间的时间差控制在合理范围内。在Android应用开发中,使用AudioRecord进行音频采集,使用AudiorTrack进行远端音频播放。协调好这两个类的输入输出时间同步,是回声消除功能实现的重要保障。为了保证时间上的连续性和时间差,需要使用两个单独线程ReadThread和WriteThread来分别进行音频采集和音频播放。另外还有两个单独的线程InTrhead和OutThread来完成数据的接收和发送,还有一个线程AecThread完成回声消除操作。线程之间的数据交换使用队列来完成。