情绪识别旨在实现机器对人的情绪状态进行自动识别，是情感计算和人机交互领域的重要研究内容。当前可用于情绪识别研究的多模态数据集（如DEAP、MAHNOB-HCI等）大多关注单一情绪类别分类，而情绪是一种复杂的心理状态，已有研究表明人可以同时感受多种情绪，这种同时出现两种或以上情绪感受的情绪状态被称为混合情绪。近年来混合情绪研究得到了越来越多的关注，但目前还没有可用于混合情绪识别研究的多模态数据集，极大的限制了混合情绪分析研究。

实验流程及筛选情绪刺激视频评分统计

针对混合情绪分析研究领域缺少用于混合情绪识别数据集的问题，我校可视媒体计算教师团队教师在清华大学读博期间，从情绪诱发材料选取、多模态信号采集、实验结果技术验证等方面建立了用于混合情绪识别研究的多模态数据集。具体是，为确保情绪的有效诱发，首先基于一定规则从斯坦福视频库中筛选诱发视频片段，以选择可诱发更强的积极、消极和混合情绪的视频；之后，80名被试被招募参与实验，在这些被试观看情绪视频时记录了EEG、GSR、PPG和面部视频等模态数据，同时记录了被试的PANAS、VAD和娱乐/厌恶两种离散情绪等主观评价；最终，建立了包括73名有效被试的多模态信号数据和主观评价数据的数据集，基于这一数据集进行了基于生理信号和面部视频的情绪诱发和混合情绪分类分析的技术验证。结果表明，当基于多模态特征和SVM时，积极、消极和混合情绪状态三分类任务上可得到80.96%的分类准确率，验证了对混合情绪状态检测的可行性。研究结果可为混合情绪分析研究提供基础数据支持和研究范式启发。

使用不同模态特征和Random Forest(RF)、SVM分类器的三分类（积极情绪、消极情绪

和混合情绪）准确率(a)RF结果，(b)SVM结果。

相关研究成果以“A Multimodal Dataset for Mixed Emotion Recognition”(DOI：10.1038/s41597-024-03676-4)为题发表于Springer Nature旗下知名科学数据期刊《Scientific Data》。该刊专注于科学数据的分享、描述和分析，发布高质量的数据集及与数据相关的研究文章，期刊近5年平均影响因子为8.9，JCR分区Q1期刊。

供稿：计算机技术与应用学院

【编辑：邹林有 责任编辑：金萍】