首页 温网停赛,想跟费德勒来场单打?

温网停赛,想跟费德勒来场单打?

近来,网络上出现一幕网球名将“费德勒”同“小威廉姆斯”同场竞技的情形,网球爱好者们纷繁惊掉了下巴。这场男女单打的破天荒对战,是怎么发生的呢?DeepTech几经曲折,摸清了这件事的来龙去脉,原来是一名…

近来,网络上出现一幕网球名将 “费德勒” 同“小威廉姆斯”同场竞技的情形,网球爱好者们纷繁惊掉了下巴。

这场男女单打的破天荒对战,是怎么发生的呢?

DeepTech 几经曲折,摸清了这件事的来龙去脉,原来是一名来自斯坦福大学计算机专业的博士生——张浩天,他和团队运用 AI 技能生成了上面的场景。猎奇之下,DeepTech 联络到了他自己。

张浩天介绍,该项意图名称为 Vid2Player,能够让你操控选手并实时生成挨近实在的竞赛视频。除了能让费德勒同小威对战,它还有许多风趣的功用。

温网破天荒地被撤销,多少球迷断供,Vid2Player 或许不失为一条新的 “解渴” 途径。

网球冠军的弟子

作业的原因很简单。

“我个人对视频了解与生成十分感兴趣,尤其是运用已有的大规模视频数据,比方在 YouTube 渠道,来处理实际中遇到的问题。”张浩天说。

此前他曾做过一个项目,是运用 AI 技能去剖析、了解曩昔十年来美国首要的三家有线电视网络的视频数据中出现的人物及内容。由所以严厉的报导内容,不太合适将视频生成技能运用其间,这让他十分惋惜。

所以在立项之初,他就决议挑选一个合适于做视频生成的范畴,后来便选中了体育赛事类视频。

原因有三。首要,体育竞赛中包含丰厚的人类肢体动作及与相关道具的交互,而且运动员天然恪守竞赛规矩,有更强的规律性及束缚性,这十分合适于做视频生成;其二,这一类资料在网络上十分简单获取;其三,体育赛事的受众很广,因而未来该技能的运用远景愈加多元。

至于为什么挑选网球,张浩天笑称,他的博士导师 Kayvon Fatahalian 在卡内基梅隆大学读本科阶段,曾经是美国大学生网球联赛的男子单打冠军,是十分优异的运动员,挑选网球或多或少受他的影响。

Vid2Player 从立项到论文定稿,大约阅历了一年时刻。

它更多地是依据计算机图形学来打开,其间用到的最经典的办法是视频纹路技能,该技能前史悠久,能够追溯到 “拳皇” 年代。

张浩天解释道,依据用户指定的输入,比方想要放一个“大招”,程序能够挑选对应的视频片段来播映,玩家就能够看到他操控的人物做出了对应的动作。

“咱们运用视频中的已有片段来出现展现内容,会让生成的视频显得愈加实在。而假设这个项目运用纯 AI 技能,就意味着运动员悉数由模型经过神经网络生成,现在这类技能没有老练,生成的视频或许存在含糊、动作不连贯等问题。”

AI 技能在 Vid2Player 的运用首要是担任决议计划运动员的行为。

AI 会依据当时两边球员的方位及球的轨道等信息,决议运动员接球的击打方法、落点以及击打后运动员康复预备状况的方位。

他们依据原始竞赛视频中运动员的前史数据为每一名网球名将练习了这样一个模型来担任操控人物的行为和规矩。

以上两种技能别离担任运动员的外观和行为,再加上一个掌控大局的网球回合状况机——运动员击球前跑位、击球、击球后跑位,循环往复运转,一场完好的网球竞赛就此生成。

自在 “操控” 网球名将

张浩天说,为了终究完成 Vid2Player,咱们需求对从网络下载的视频进行必要的标示作业。

首要,预先逐帧框选出两个运动员的方位,然后标示遮罩及姿态的要害点。

别的,还需求知道球的轨道,相当于在每一帧标示出球的方位。这儿有两个很要害的时刻——球被运动员击打的时刻和方位、球被击打出之后,落地反弹的时刻和方位。

最终,还要对现有视频中网球场所进行三维重建,将 2D 信息转换成 3D 的格局。

值得注意的是,现在每次击球的时刻都需求人为手艺进行标示。张浩天解释道,由于击球的瞬间球速很快,而且球体很小,他们的 AI 暂时不能很好地定位捕捉,这儿确实有待改善。

除此之外,以上绝大部分的标示作业都能够经过计算机模型主动生成。包含张浩天在内的 Vid2Player 两名主力成员,本次共处理标示了 20 个小时左右的网球竞赛资料。

此外,为了让输出的网球竞赛愈加靠近实在场景,他们做了许多的作业。

图 | 自然化处理,去掉因光线发生的暗影

图 | 自然化处理,在不同场次中,运动员的着装会发生变化,需求进行一致

图 | 由于摄像机的联系,需求将画面不完好的部分补全,例如上图的小腿部分

体现层处理完毕之后,需求参加操控层的逻辑。张浩天说,之后,你能够像玩游戏相同实时操控一方运动员,改动他的跑位及击球方位。

Vid2Player 中练习的运动员模型能够完成主动针对对方的弱势手、高难度接球、近网的方位截击等等技能动作。

图 | AI操控下运动员完成了一次美丽的网前截击

图 | 有无行为模型比照图

比方上图,当程序的行为模型介入之后,成功“歪曲实际”,给出愈加契合网球战略的击球计划。

参加状况机的逻辑之后,网球赛中的每个回合都被分化,循环往复串行。

在这些根底之上,能够做一些十分有意思的作业,比方能够修改已有的网球竞赛。

下面这个比方是费德勒在 2019 年温网决赛痛失赛点的一个经典失误,运用 Vid2Player 能够改动费德勒击球的落点,这一小小的改动足以改动前史,让费天王拿下 2019 温网冠军!

你还能够改动对战两边的运动员,条件是该运动员处于视频调集傍边。

比方最初的费德勒同小威廉姆斯的同场竞技,乃至你还能够请费德勒自己同自己对局。

图 | 费德勒 VS 费德勒

张浩天还发给 DeepTech 一则视频,在其间他们约束了费德勒和纳达尔只能用正手打球。

假如你乐意,乃至能够录制一些原始的资料,经由 Vid2Player 处理,生成同费德勒对战的视频。

运用远景

当 DeepTech 问及是否考虑未来将 Vid2Player 运用到游戏傍边,张浩天回答道:“现在干流的游戏同咱们选用彻底不同的技能道路,一般情况下假如游戏厂商要做一款真人网球游戏,他们有必要让运动员穿戴采集器来树立 3D 模型,而 Vid2Player 现在是以纯二维的方法来处理问题。”

“咱们更多地是从视频生成的视点,处理了生成真人网球视频的问题。理论上,这个处理计划也适用于乒乓球和羽毛球的单打竞赛中。”

“现在 Vid2Player 所能做的其实比较有限,未来咱们考虑让它能够兼容更多种的运动和形式。拿篮球运动来举例,到时咱们期望它不再需求人类协助界说状况机,而是让 AI 自己学会区别不同的状况,如传球、投篮、格挡等等。”

视频生成比图画生成要难得多,张浩天说。在图画生成范畴,运用 GAN 现已能够生成很实在的图画,如人脸等。

但视频生成范畴,纯 AI 的模型还很难生成恣意的高像素、传神的视频。

其原因在于,视频的复杂度较图画要高许多,当参加时刻的维度之后,空间巨细暴升。需求无限的模型容量以及无限的练习数据,才或许有一个通用的 AI 生成视频模型。

他说,以现在的硬件和算力水平,这个问题尚无法处理。现在视频生成范畴能够运用 AI 处理换脸的问题,原因在于脸部其实是一个十分强的束缚条件,相比之下,至今还没有一款揭露、通用且老练的能够生成人体全身动作的 AI 模型。

“所以,咱们的起点不是一个通用的视频生成模型,而是专心于生成某范畴的视频模型。Vid2Player 因而而诞生,它其实交融了两个范畴的技能,一是视频生成,二是统计学意义上的体育视频剖析。”

张浩天描绘道,体育视频剖析的商业远景宽广,现已有许多公司在做相关的数据发掘的作业,比方篮球运动员的罚球命中率、抢篮板数等便是来自于此。再比方 Vid2Player 中用到的猜测网球落点的技能,也是要害、且十分抢手的技能。

“可是此前没有人将这两个范畴结合到一同,某种程度上咱们做了一件前人没做过的事。期望未来这项技能能够运用到体育新闻说明或体育教育的可视化中,为受众供给一种全新的体会。”

本文来自网络,不代表本站立场。转载请注明出处: https://www.sonderausstellung2011.com/show/5032.html
上一篇
下一篇

发表评论