首页 又被AI骗了!73%的人无法分辩“真假”音效

又被AI骗了!73%的人无法分辩“真假”音效

又一次,AI欺骗了人类。在一次实验中,AI让73%的人信任AI组成音效是实在的。这一最新研讨成果有望使用于电影、电视剧等影视制作工作中。幻想一下,假设你正在看一部恐惧片:女主战战兢兢地走在漆黑的地下室…

又一次,AI 欺骗了人类。

在一次实验中,AI 让 73% 的人信任 AI 组成音效是实在的。这一最新研讨成果有望使用于电影、电视剧等影视制作工作中。

幻想一下,假设你正在看一部恐惧片:女主战战兢兢地走在漆黑的地下室中,背景音乐非常恐惧,一起一些看不见的凶恶生物也在漆黑中活动,然后忽然一声巨响,一个物体被撞倒了…… 我们没有这种令人严重又适可而止的音效,只经过眼睛看到的场景很难让人产生这种恐惧感。

一般,这些音效是由录音室中的 Foley 艺术家录制的,他们会运用特定的物体来产生特别的声响。比方,我们导演想要在视频中参加玻璃破碎的声响,或许需求 Foley 艺术家打碎许多块玻璃,直到声响与视频片段匹配起来。

图 | 一位前期 Foley 艺术家在现场为广播节目增加音效,他手中的作用板能够模仿电话铃响和关门的作用

现在,为处理这一问题,来自美国得克萨斯大学圣安东尼奥分校的研讨人员创立了一个根据机器学习的主动程序,它能够确认一个视频编排中正在产生的动作,并据此创立传神的音效,并且现已让大多数人信任假的声响作用是实在的。

比方,为火焰、飞跃的马主动加音效。

相关研讨成果以论文的方式宣布在由 IEEE 计算机协会、IEEE 通讯协会等出书的科学期刊《IEEE 多媒体汇刊》上。

关于此项工作,论文通讯作者、得克萨斯大学圣安东尼奥分校教授杰夫 · 普雷沃斯特表明,“自 20 世纪 30 时代以来,在电影和电视剧的后期制作中,经过运用 Foley 艺术为特定场景增加音效,一直是一个比较复杂的工作。我们没有传神的 Foley 音效,电影就会显得空泛、不实在,可是 Foley 音效组成增加了电影和电视剧的创造周期和本钱。”

在普雷沃斯特和他的博士生桑奇塔 · 高斯创立的多层机器学习程序中,他们针对包括辨认视频中的动作和确认适宜的声响这一步,别离创立了两种不同的模型,来查验音效的组成作用。

第一种模型,能够从快速移动的动作编排的帧中提取图画特征,以确认恰当的声响作用;第二种模型,剖析一个物体在不同帧中的时刻联系,经过运用联系推理来比较不一起间段的不同帧,这一模型能够猜测在视频中产生了什么动作。

在最终一步中,经过组成声响来匹配模型猜测的活动或运动。现在,他们为 1000 个电影片段创立了声响,并捕捉了一些常见的动作,比方下雨、飞跃的马和滴答作响的挂钟。

图 | 触及使用场景

成果显现,他们的模型最适合用在时刻不需求与视频完全一致的场景中,但当视频中包括随时刻改变的随机动作时,体现得就不太好。

此外,他们也对当地的 57 位大学生进行了查询,看他们是否能够分辨出哪些电影片段中包括了原始音效。在评价第一个模型时,73% 的学生挑选了组成音效作为原始音效,在评价第二个模型时,这一数字为 66%。可见,这两个 AI 模型现已骗过了大多数人。

可是,普雷沃斯特表明,该办法还存在一个显着的缺乏,有必要要求分类的主体出现在整个视频帧序列中,并且依赖于具有有限 Foley 类别的数据集。

对此,普雷沃斯特以为,这些缺乏将会在未来的研讨中得以处理。

本文来自网络,不代表本站立场。转载请注明出处: https://www.sonderausstellung2011.com/show/8042.html
上一篇
下一篇

发表评论