音频音乐与计算机的交融-音频音乐技术
课程概述
本课程对应于音乐科技、音乐人工智能、计算机听觉/AI声学这一新兴领域。一般以2000年建立的权威国际会议ISMIR（International Society of Music Information Retrieval Conference）作为学科起点，迄今仅有21年的历史。对于这种横跨文理又同时具有很大学术研究和实际应用价值的高门槛交叉学科，培养人才是一项艰巨又极其重要的任务，是促进整个学科发展的基石。
国内由于长期的文理分割教育体制，导致这种交叉性人才极少。而欧美日本等发达国家由于其通识教育的理念，这种人才相对较多。在从硬件、软件、到音乐传播的整个音乐科技、音乐人工智能及计算机听觉/AI声学技术产业链占据了高端位置，每年从中国赚取大量利润。在国内，近年来随着文理交叉思维观念的加深，人工智能技术的火热，产业界对音乐科技、音乐人工智能及计算机听觉软硬件产品国产化需求的日益增加，对此类人才的需求量迅速增大。
此前，国内在该领域的科研教学力量十分零散。自从2013年创建全国声音与音乐技术会议（CSMT）以来，才逐渐形成整体。课程负责人2017-2020年撰写了两篇分别基于Music和Audio的音乐科技及计算机听觉领域大型综述（共88页，734篇文献），主编“音频音乐与计算机的交融-音频音乐技术（上/下）”中文学术著作/教材，在百度百科定义“音乐科技”、“音乐人工智能”、“音乐信息检索MIR”、“计算机听觉”、“中国声音与音乐技术会议”等词条明确相关学科范畴。这些都为开设国内第一门该领域在线课程打下了良好的基础。
在线课程建设的总体思路是：以科普形式的系列科技报告为主，面向全社会开放，使感兴趣的听众先对整个学科涉及的学术理论及产业应用等内容有一个全面的了解。对具体某个方向感兴趣的观众可以与相关导师合作科研进行深入理解。该学科的师资在国内分布于各个综合性大学、理工科大学及各大音乐学院，在任何单位集中授课均存在较大困难，在线课程的实施将有助于大大缓解这个问题。
课程大纲
第01章 音乐科技、音乐人工智能与计算机听觉概述
1.1 音频音乐技术概述（李伟）
1.2 理解数字音乐-音乐信息检索技术综述（李伟）
1.3 理解数字声音-基于一般音频/环境声的计算机听觉综述（李伟）
1.4 章节讨论
第02章 声学基础
2.1 心理声学（谢凌云）
2.2 音乐声学（韩宝强）
2.3 章节讨论
第03章 音乐心理学
3.1 音乐要素、句法和情绪意义的加工（蒋存梅）
3.2 音乐记忆以及音乐在教育和临床的应用（蒋存梅）
3.3 章节讨论
第04章 音频特征及音频信号处理
4.1 音频特征及音频信号处理（梁贝茨）
4.2 音频传输与压缩（贾懋珅）
4.3 虚拟现实音频（王晶）
4.4 章节讨论
第05章 音高估计、主旋律提取与自动音乐记谱、音乐节奏分析
5.1 音高估计，主旋律提取，自动音乐记谱（张维维）
5.2 音乐节奏分析（桂文明）
5.3 章节讨论
第06章 音乐和声分析、歌声信息处理
6.1 音乐和声分析（吴益明）
6.2 歌声信息处理（罗艺）
6.3 章节讨论
第07章 音乐搜索、音乐结构分析
7.1 音乐搜索（鲁霄）
7.2 音乐结构分析（邵曦）
7.3 章节讨论
第08章 音乐情感计算、音乐推荐
8.1 音乐情感计算（张克俊）
8.2 音乐推荐（顾旻玮）
8.3 章节讨论
第09章 音乐分类、音色分析、音乐版权保护
9.1 音乐分类（关欣）
9.2 音色分析（梁晓晶）
9.3 音乐版权保护（李圣辰）
9.4 章节讨论
第10章 自动作曲、歌声合成
10.1 AI作曲（夏光宇）
10.2 歌声合成(上)（肖仲喆）
10.3 歌声合成(下)（肖仲喆）
10.4 章节讨论
第11章 音乐演奏数据与建模、AI辅助音乐教育、音乐表演的量化分析
11.1 音乐演奏数据与建模（李圣辰）
11.2 AI辅助音乐教育（周若华）
11.3 音乐表演的量化分析（杨健）
11.4 音乐表演的量化分析的主要方法（杨健）
11.5 音乐表演的量化分析的应用前景（杨健）
11.6 章节讨论
第12章 智能音乐录音/混音、声景及声音设计、计算机交互与声音艺术
12.1 智能音乐录音/混音（王鑫）
12.2 声景及声音设计（陈明志）
12.3 计算机交互与声音艺术（班文林）
12.4 章节讨论
第13章 数字乐器声合成、新乐器设计、音乐机器人
13.1 数字乐器声合成（李荣锋）
13.2 新乐器设计（李子晋）
13.3 音乐机器人（上）（周莉）
13.4 音乐机器人（下）（周莉）
13.5 章节讨论
第14章 一般音频的计算机听觉（I）
14.1 一般音频计算机听觉-AI生活场景（孔秋强）
14.2 一般音频计算机听觉-AI机械（唐刚）
14.3 章节讨论
第15章 一般音频的计算机听觉（II）
15.1 一般音频计算机听觉-AI水声（曹正良）
15.2 一般音频计算机听觉-AI生物（段淑斐）
15.3 一般音频计算机听觉-AI医学（侯丽敏）
15.4 章节讨论
第16章 人工耳蜗听觉、艺术嗓音分析、音乐治疗
16.1 人工耳蜗听觉（上）（田岚）
16.2 人工耳蜗听觉（中）（田岚）
16.3 人工耳蜗听觉（下）（田岚）
16.4 艺术嗓音分析（韩丽艳）
16.5 音乐治疗（张晓颖）
16.6 章节讨论
参考资料
Antonio Camurri, Giovanni De Poli, and Davide Rocchesso, "A Taxonomy for Sound and Music Computing", Computer Music Journal (CMJ), Vol. 19, No. 2, Summer 1995, pp. 4-5.
Shlomo Dubnov, "Computer Audition: An introduction and research survey", ACM Multimedia International Conference (ACM MM), Tutorial, October 2006, USA.
Michael J. Bianco, Peter Gerstoft, James Traer, Emma Ozanich, Marie A. Roch, Sharon Gannot, and Charles-Alban Deledalle,"Machine learning in acoustics: Theory and applications", The Journal of the Acoustical Society of America (JASA), Vol. 146, No. 5, November 2019, pp. 3590–3628.
《音频音乐与计算机的交融-音频音乐技术》，468页，ISBN：978-7-309-14769-8/J.416，895千字，复旦大学出版社，2019年12月。
《音频音乐与计算机的交融-音频音乐技术（下）》，复旦大学出版社，2021年09月出版。
“理解数字音乐-音乐信息检索技术综述”, 第五届全国声音与音乐技术会议（CSMT 2017）, 复旦学报（自然科学版）, 2018, 57(3): 271-313. （MIR领域中文综述, 43页, 335篇文献）
“理解数字声音-基于普通音频的计算机听觉综述”, 第六届全国声音与音乐技术会议（CSMT 2018）, 复旦学报（自然科学版）, 2019, 58(3): 269-313. （计算机听觉领域中文综述, 45页, 399篇文献）
百度百科词条：音乐科技、音乐人工智能、音乐信息检索MIR、计算机听觉、中国声音与音乐技术会议。
