情感 定义FCS 前沿综述：音乐感情识别

　　音乐是感情的言语。近年来，音乐感情识别在学术界和工业界惹起了普遍的关心，它能够普遍使用于保举体系、主动音乐创作、生理医治、音乐可视化等范畴。出格是跟着人工智能的倏地成长，基于深度进修的音乐感情识别也逐步成为支流。本文对音乐感情识别进行了细致的查询拜访。从音乐感情识此外一些开端学问起头，本文起首引见了一些常用的评价目标。然后提出了一个由三部门构成的的钻研框架。在这三部门钻研框架的根本上，细致阐发了各部门涉及的学问和算法，包罗一些常用的数据集、感情模子、特性提取和感情识别算法。之后，提出了音乐感情识别手艺的应战性问题和成长趋向，最初对整篇论文进行了总结。

　　近年来，电辅音乐市场取得了倏地的成长，能够从各类来历得到大量的音乐资本。这些音乐资本必要按照感情、门户等标签消息进行组织和办理。如许听众就能够便利地得到音乐作品。因为音乐是感情的载体，所以识别音乐作品中的感情标签尤为主要。利用手动方式来获取标签消息可能会很耗时、劳动稠密和容易犯错。因而，主动识别情感标签的钻研范畴起头构成。

　　音乐情感识别(MER)是操纵计较机提取和阐发音乐特性，构成音乐特性与情感空间的映照关系，识别音乐表达[1]的情感的历程。音乐特性凡是是从音频信号、意味性的曲谱阿虎影视情感电影、歌词文本，以至是从脑电图等生物特性中提取出来的。感情空间能够用无限数量的离散种别或持续多维空间中的有限个点来暗示。MER属于音乐生理学、音频信号处置和天然言语处置(NLP)的跨学科钻研范畴，而MER是音乐消息检索(MIR)的一个子使命。MER可普遍使用于音乐保举、检索情感心理学、可视化、主动作曲、生理医治等范畴。因而，MER已成为学术界和学术界的钻研热点。

　　自20世纪30年代以来，钻研职员就音乐和感情之间的关系展开了开创性的钻研。在本世纪初，越来越多的钻研职员起头钻研若何从音乐数据中主动提取感情。近年来，跟着人们对音乐特性的深切理解和人工智能的日益成熟，MER取得了很大的进展。本文对音乐感情识别进行了细致的钻研，因为现有文章曾经对一些关于音频特性和保守机械进修算法的进行了评论，本文的重点将是近年来利用深度进修算法的MER钻研。

　　现有的基于机械进修的MER事情包罗三个部门，即范畴界说、特性提取和情感识别。全体框架如图1所示。从图1中能够看出，在域界说阶段取舍了情感模子和数据集，在特性提取阶段提取了有用的特性，在情感识别阶段对情感标签进行了预测。

　　表1总结了MER中一些常用的感情模子。在“使用范畴”一栏中，“正常”是指正常感情模子，“音乐”是指音乐感情模子。正常感情模子能够用于各个范畴的感情阐发，这对多模态MER来说是很好的。音乐感情模子是特地针对音乐范畴的，它能够更精确地形容音乐感情。在“感情观点化”一栏中，“分类”是指分类感情模子，“维度”是指回归感情模子。一些学者以为，分类感情模子是恍惚的，所以回归感情模子比来被利用得比力多。在“感情界说”一栏中，“感知”指的是感知的感情，“诱发”是诱发的感情。感知感情指的是音乐自身转达的感情，凡是必要音乐数据（如音频、符号曲谱和歌词等）来识别情感心理学。诱发情感是指音乐在听众中激起的情感，这必要通过听众听音乐时发生的心理数据（如EEG）来确认。

　　特性提取是MER的焦点问题，特性的品质间接影响着情感识此外精确性。表3总结了一些数据格局、预处置方式、东西和成果。

　　音频特性。与情感相关的音频特性能够分为节拍特性、音色特性和频谱特性。表4中总结了每一类中最常用的特性。

　　抒情特性。诸如词和感情类此外有关性、韵律消息、俚语、布局阐发特性和语义特性被作为抒情特性利用。别的，诸如感情辞书、统计阐发东西和Latent Dirichlet Allocation（LDA）等方式也被用来提取抒情诗特性。

　　能够采用卷积神经收集(CNN)或递归神经收集(RNN)等DL模子作为端到端处置框架，将整个进修历程彻底移交给DL框架，完成从原始数据到预期输出的映照。与保守的机械进修模子比拟，基于dl的MER模子有两个长处。起首，DL模子的机能会跟着锻炼数据量的添加而添加。其次，基于dl的模子能够从数据中主动提取出符合的特性。

　　表8总结了该范畴的代表性事情。能够看出，基于CNN的模子很常见。CNN是DL的代表性进修算法之一，它模仿了生物的视觉感知，能够无效地从数据中进修特性表征。

　　表9中列出了歌曲级回归MER范畴的代表性作品，基于CNN和RNN的DL框架经常被利用。RNN是DL的另一种代表性算法，它擅利益置序列数据，所以经常被用于NLP范畴。Bi-RNN和LSTM是RNN的两个常用变体。

　　表10总结了利用DL手艺在该范畴的代表性事情。在动态情感识别中，常用的模子是基于RNN的模子。

　　表11给出了在一些常见数据集上的机能目标阿虎影视情感电影，以片面显示了MER方式的以后机能。

　　情感是客观的，难以量化的。对付分类情感模子，有一些描述词很难精确地量化音乐情感的丰硕性。对付维度情感模子，如最常用的VA模子，它的一个象限凡是蕴含多个近似的情感（如第一象限蕴含欢快、兴奋等），但哪个数值对应于哪个感情是恍惚且难以量化的。

　　一些高级的音乐观点（调、旋律历程等）能在必然水平上反应出音乐的感情，但它们的定量钻研很少。

　　范畴界说：新的数据集和感情模子曾经呈现，如动态正文的数据集DEAM和诱导感情模子GEMS。动态处置更合适音乐的特点。音乐感情会在一首音乐作品中动态变迁，所以静态处置并不细致和精确。出格是跟着像RNN如许的序列模子的呈现，动态地识别持续的感情变得愈加便利。零丁利用音频数据的机能曾经到达了天花板，所以增添其他消息如诱导数据是需要的。

　　特性提取和感情识别：这两个步调的方式正在从手工提取和保守的ML模子，转向利用DL框架进行端到端处置。表12展现了MIREX中AMC使命的年份、方式和精确率消息，从ML到DL的趋向很较着。

　　本文综述了目前对MER的钻研进展。起首，引见了钻研布景，给出了界说，总结了MER的意思，并扼要引见了MER的汗青。然后引见了以后的钻研框架，并论述了各部门所涉及的学问和算法。最初，指出了MER面对的应战和将来的成长趋向。