首页 体育 教育 财经 社会 娱乐 军事 国内 科技 互联网 房产 国际 女人 汽车 游戏

现在看音乐家无声表信托风险大吗演视频,AI 也能给出正确的结果

2020-08-09

在 2020 年欧洲计较机视觉聚首会议(ECCV 2020)上,信托风险大吗麻省理工学院(MIT)和沃森人工智能尝试室的钻研职员先容了一种人工智能体系——Foley Music,它可以从音乐家演吹打器的无声视频中产生 “貌似合理”的音乐。钻研职员说,它可以用于各类音乐吹奏,信托和理财哪个风险大而且,与现有的 “某些”体系比较,它天生的音乐越发悦耳。

论文链接:

https://arxiv.org/pdf/2007.10984.pdf

钻研者们坚信,中融信托有不兑付的吗?一个可以从身材行径轨迹揣度声音的人工智能模子可以作为一系列利用的基本,从主动给视频添加声音结果,到为假造实际缔造陶醉式体验,2018信托公司最新排名纷歧而脚。认贴生理学的钻研表白,人类早已拥有这种手艺——纵然是年幼的儿童,他们听到的内容也会受措辞人的肢体举动影响。

为暗示举措,买信托靠谱吗Foley Music 会从视频帧中提取二维的要害坐标点来摹仿身材和手部的举措,要害点包罗身材(25 点)和手指(21 点)。应付音乐,体系回收乐器数字化接口(MIDI)的表征形式,有哪些信托产品亏损了对每个音符的时长和响度举办编码。给定了举措的要害点和音乐的 MIDI 变乱,模子中的 “图形调动器”模块会拟合一个映射函数,将举措与音乐接洽起来,信托是什么意思捕获人体动态和音乐变革的躲藏接洽。

模子可以用于建筑手风琴、低音提琴、巴松管、大提琴、吉他、钢琴、大号、四弦琴和小提琴等的音乐片断。

体系不会将 MIDI 变乱渲染成音乐,但钻研职员指出,它们可以导入到尺度合成器中。钻研职员未来将思考实习一个神经合成器来主动渲染音乐。

尝试中,信托和保险的区别钻研职员回收了三个数据集来实习 Foley Music:URMP,一个在灌音棚录制的高质量多乐器视频语料库,每个录制的视频提供一个 MIDI 文件;AtinPiano,什么叫信托理财产品一个提供钢琴弹奏视频的 YouTube 频道,摄像角度是鸟瞰手指和键盘;MUSIC,一个未经修剪的视频数据集,信托是什么有风险吗通过要害字搜刮从 YouTube 下载。这些数据集包孕 11 个种别共 1000 个音乐吹奏视频。

钻研职员让完成实习的 Foley Music 体系为 450 个视频天生了 MIDI 片断。然后,他们举办了一项听力测试,让来自亚马逊土耳其古板人(Amazon Mechanical Turk)的自愿者对个中的 50 个片断举办了四类评分:

精确性:天生的歌曲与视频内容的相关性怎样。

噪音:哪首歌里的噪音最小。

同步:哪首歌在时刻上与视频内容维持同等。

总体:他们更喜好听哪首歌。

钻研职员陈诉说,与其他基准体系比较,测评职员发现 Foley Music 天生的音乐更难与真实灌音区别隔来。此外,MIDI 变乱的表征形式好似有助于音质改善、语义对齐和时刻同步。

作者写道,“功效表白,通过身材要害点和 MIDI 暗示可以很好地成立视觉和音乐信号之间的关联。其它,MIDI 表征形式让我们的框架可以很轻易地扩张到差异形式的音乐。我们估计,我们的事变将开启未来的一系列关于行使人体要害点和 MIDI 变乱钻研视频和音乐之间接洽的钻研。”

Foley Music 落生的一年之前,麻省理工学院计较机科学与人工智能尝试室(CSAIL)的钻研职员曾推出一种体系——像素播放器(Pixel Player),它可以操作人工智能来区别和疏散差异乐器的声音。输入一段视频,颠末充实实习的 PixelPlayer 可以疏散出陪伴的音频并识别声源,然后计较图像中每个像素对应的音量并对其举办 “空间定位”,即识别出视频片断中产生相同声波的地区。

热门文章

随机推荐

推荐文章