当前位置: 主页 > 网站环球 >Google 庆祝巴哈生日,这是音乐 AI Doodle 背后的技术 >

Google 庆祝巴哈生日,这是音乐 AI Doodle 背后的技术

浏览量:623
点赞:814
时间:2020-06-07
Google 庆祝巴哈生日,这是音乐 AI Doodle 背后的技术

3 月 21 日,Google 发表有史以来第一个人工智慧音乐 AI Doodle,庆祝世界着名的德国作曲家和音乐家──Johann Sebastian Bach(约翰‧塞巴斯蒂安‧巴哈)的生日!

Doodle 是 Google Magenta 和 Google PAIR 团队合作完成,是一种互动游戏,玩家可创作自己选择的两种旋律音乐。按下按钮后,Doodle 会使用机器学习将旋律协调为巴哈的音乐风格(如果你碰巧在 Doodle 发现非常特别的复活节彩蛋,那可能是巴哈时 1680 年代的混合摇滚风格)。

伟大的德国音乐家巴哈

1685 年 3 月 21 日,巴哈出生在德国艾森纳赫小镇。他在一个音乐大家庭长大:父亲能用多种乐器演奏,还担任镇上乐队的指挥。大哥也是音乐家,巴哈 10 岁时父亲去世了,从此跟着哥哥长大。巴哈也是杰出的风琴手,他还懂得如何製作和修复複杂的管弦乐器。

巴哈是多产音乐家,每週都能创作一首大合唱曲,同时巴哈也非常谦逊,把自己的成功归于天赐灵感和严格的职业道德。他活着的时候只有几部作品出版,但现在散于世界各地的手稿作品超过 1,000 部。

随着 19 世纪「Bach revival」,巴哈名声一飞冲天,当时,音乐界开始认可和推崇他的四声部和声。也许衡量音乐家的最好标準是对其他艺术家的影响,几个世纪以来一直如此。

然而,音乐家并不是唯一受巴哈音乐影响的人。「旅行者 2 号」太空探测器发射后,科学家兼作家 Lewis Thomas 建议将巴哈的音乐传递到太阳系最外层。「我建议使用巴哈的音乐,所有巴哈的音乐」,他写道。

Doodle 背后的故事

我们可先看看下面的影片,了解 Doodle 诞生的经过。

开发 Doodle 的第一步是什幺?就是建立机器学习模型。传统的电脑程式设计是订定一套规则让电脑给答案,但机器学习是经过输入大量资料,让电脑学会找出答案。今天 Doodle 使用的模型是由 Magenta 团队的 Anna Huang 开发,她开发了 Coconet,是一种多功能模型,可用于各种音乐工作,如协调旋律或从头开始作曲(可在 Magenta 部落格看到更多技术细节)。

具体来说,Coconet 接受 306 次巴哈合唱协调训练。巴哈的合唱团总是有四声部,每声部都有自己的旋律线,同时演奏能创造出丰富悦耳的和声。这种简洁架构成为机器学习模型良好的训练资料。

PAIR 团队使用 TensorFlow.js,使机器学习完全在 Web 浏览器进行,不需要像传统机器学习使用大量伺服器。如果某人电脑或装置不够快,无法使用 TensorFlow.js 执行 Doodle,Doodle 还可与 Google 新 Tensor 处理单元(TPUs)一起使用,就是在资料中心快速处理机器学习工作。

这些套件与 Doodle 团队的工程相结合,创造了今天看到的 Doodle。

Bach Doodle 背后的机器学习模型

Doodle 背后的机器学习模型是 Coconet。3 年前 Magenta 团队成立时,开始研究这个模型。当时他们只使用机器学习(ML)生成旋律。写出好旋律很难,更不用说和弦了。但就像每个音乐系学生,他们想到了巴哈的音乐!使用巴哈 306 个合唱协调数据集,他们能训练机器学习模型,以巴哈的风格生成複调音乐。

Coconet 被训练从残缺片段回复巴哈的音乐:团队从巴哈音乐里取一片段,随机移除一些音符,然后让模型根据内文推测出缺失的音符。结果是通用的对位模型,接受任意不完全的乐谱输入,计算出完整的乐谱。这设定涵盖了各种各样的音乐工作,例如协调旋律、建立平滑过渡、重写和细化现有音乐及从头开始创作音乐。

传统的模型通常是按照开始到结束的时间顺序生成音符,而 Coconet 可从任何时间开始,以任何顺序开发音符。这种弹性使它成为有效的辅助合成工具。音乐家将这点使用于工作流程的方法是反覆让 Coconet 填写分数,每次都保留好内容并移除其余内容。事实上,这就是 Coconet 的内部工作机制:在迴圈生成材料,反覆重写和移除自己的工作。它从粗略的想法开始,然后反覆算出细节,并把材料调整成连贯的整体。

模型的工作原理

Coconet 抓取不完整的乐谱并补充缺失的部分。为了训练它,团队从巴哈的四声部圣咏选出一段,随机移除一些音符,并要求模型重建移除的音符。巴哈作曲和 Coconet 作品间的差异有个学习讯号,透过这个讯号就可训练模型。

透过随机移除音符,团队希望得到能处理任意不完整输入的模型。它相当于一次训练多个模型,每个模型都适用不同场景。

Google 庆祝巴哈生日,这是音乐 AI Doodle 背后的技术

在团队看来,「乐谱」是 3D 的。巴哈的合唱是为四声部创作,分别是女高音(S)、女中音(A)、男高音(T)和男低音(B)。每声部的音乐都用钢琴曲来表现:一个 2D 阵列,时间(离散)为行,音高为栏。我们假设每声部在任何给定的时间都只唱一个音。因此对每声部、每个时间点,都有一 one-hot 基音向量,除了一个单独表示正在唱音高向量,其他元素都为零。有不确定性的情况下(例如模型汇出),此基音向量将包含基音上的分类机率分布。

团队把这叠钢琴视为捲积特徵图,时间和音高构成 2D 捲积空间,每声部都提供一个通道。由于他们输入模型的音符不完整,于是为每声部提供其余的掩膜通道:二进位值指示每个时间点该声部的音高是否已知。故进入模型的是八通道特徵图。

Google 庆祝巴哈生日,这是音乐 AI Doodle 背后的技术

模型是非常简单的捲积神经网路,有批量标準化和残差连结。对使用 TensorFlow.js 达成在浏览器执行模型的 Doodle,可透过切换到非垂直可分离捲积来加快计算速度。

团队训练该模型,以提高分配音高给真正音符的机率,促使模型去理解接收的不完整乐谱的音乐含义──现在用什幺调,是什幺乐器,下个音符是什幺,前面的音符是什幺?

一旦模型训练好,就可从模型产生的机率分布撷取音乐。我们可根据每个音符的分部取样每个音符。然而,这无法解释取样音符之间的相互作用。通常,确定其中一个音符会改变其他音符的分部。

计算互动作用的一种方法是取样其中一个音高,添加到不完整的乐谱,然后再次透过模型传递结果,再重新计算剩余音高的分散。重複这个过程直到所有音符都确定,团队考虑所有关联同时完成乐谱。

实际上他们採用的方法更强大:将模型汇出视为粗略的草稿,然后反覆重写、逐步细化。具体地说,同时取样所有音符,获得完整的(但通常无意义)乐谱,然后将部分移除并再次传给模型,然后重複此过程。随着时间推移,需要抹去和重写的音符越来越少。

团队建模的过程中,每次只建模一个变数。同时,他们採用无序建模,且採用 Gibbs 取样法,从多个顺序生成乐谱,因此保证模型有效。

上一篇: 下一篇: