一种语音情感和面部表情双模态识别系统，包括：情感数据的输入及其预处理模块、情感特征提取模块以及特征融合情感识别模块；所述情感数据的输入及其预处理模块，用于选择和建立所使用的情感数据库，根据不同数据库的数据特征以及不同模态数据的特性选择预处理方法；所述情感特征提取模块，用于表情特征提取和语音特征提取，所述表情特征包括LBP 特征；所述语音特征包括基频特征、短时能量特征、梅尔频率倒谱系数、短时抖动参数、过零率中的一种或多种；所述特征融合情感识别模块，用于根据特征种类不同进行分类映射，双模态情感特征分为表情特征、语音特征以及表情和语音特征串联而得的串行特征，对每部分特征种类采用不同的核函数进行映射，再通过学习求得每特征种类对应不同的各个核函数前的权重系数；核函数前的权重系数在学习过程中获得，实现多模态情感特征的识别。
