ZKX's LAB

森威科技杨烁:虚拟拍摄技术,如何运用于电竞行业

2020-12-19新闻20

12月16日,2020年度中国电竞产业大会在江苏扬州如期举行。上海森威科技有限公司CTO杨烁出席大会,并发表了《虚拟拍摄技术在电竞行业的应用及展望》的主题演讲。

杨烁表示,虚拟制作技术发展至今,通过与虚幻4引擎的结合,虚拟制作技术已经是一项能够引领电竞直转播行业的革命性技术。从2017年开始,电竞的直转播水平甚至是已经超越了中超和NBA赛事的直转播水平。

在将来虚拟制作技术能通过虚拟场景的变化和虚拟场景的转场让观众们身临其境,让观众与电竞职业选手能够虚拟零距离接触,增强了观赛体验。

以下为演讲内容原文:

谢谢主办方的邀请。刚才以及上午的几位业界同仁都在聊电竞在整个业态包括行业的发展方向,我从技术的角度探讨在电竞行业如何结合目前的5G、AR/VR技术对整个行业进行赋能。

AR/VR/XR/MR技术,都统称为虚拟技术。虚拟拍摄技术是虚拟技术在传统广播电视行业的技术变种,简单来说就是把计算机的图像、三维图像和摄像机的视频进行有效结合,结合在一起以后,通过XYZ轴的位移关系做到摄像机画面和三维画面之间的联动。

虚拟拍摄技术由三个小模块组成,第一个小的模块叫虚拟前景,第二个模块是虚拟背景,第三个模块是XR和MR包括大屏联动。

虚拟前景简单来讲就是我站在讲台上,后面可能是绿布,蓝箱,把图像扣完之后做一个虚拟背景或者虚拟场景。

虚拟前景就会加一个技术属性,因为计算机不清楚我的人站在空间中的位置关系,所以我需要通过传感器定位人的XYZ轴的关系,通过这个关系计算机就可以判断虚拟物体到底在人的前面还是人的后面,人就可以站在虚拟空间物体的前后左右进行穿梭和位移。

第三个模块是目前好莱坞做电视节目拍摄,包括电影拍摄最流行的LED大屏的技术。通过虚实结合的方式来做。

原本好莱坞的在拍摄中会大量使用实景,但在2007年的技术迭代之后,好莱坞开始大量使用绿箱,很多拍摄现场都会出现大量的蓝箱或者绿箱。2015年之后,大家发现搭一个绿箱蓝箱无法实现很好的光影的效果,这个时候虚幻4引擎就派上用场了。

虚幻4引擎能够很好地表现出制作人员想要的光影效果,《赛博朋克2077》就使用虚幻4引擎来制作游戏。通过这个引擎制作的光影效果非常好,画面非常真实。

9月24日我们与虎牙直播内部人员在项目讨论,结果说是在10月3日需要开展一场转播活动。活动前期因为有各种商业谈判和赛事投入,所以将后期制作的时间压缩得特别紧,就一个星期的时间。疫情情况下做这种活动至少需要600-800平的空间,层高可能超过10米,因为要做各种灯光各种LED屏的效果包括舞美制景。

在虎牙基本准备放弃这个赛事的时候我们给他提供了一个新的概念,可以通过虚拟技术来做。后来场景设计、制作一共只花了4天时间,而且我们团队还花费了一天时间来讨论方案,所真正的制作时间只有3天。

虚拟制作的第一个优势就是省钱。刚才那个场景如果按照传统模式来做,舞台搭建、舞美制景、人员差旅和现场设备需要的费用都不是小数目;第二个优势是省时,虚拟和传统技术相比,至少能节省一个礼拜的时间;第三个优势是节目形式更丰富,我们在活动中会遇到很多IP形象的呈现、输出,如果我们只是使用实景舞台的话,是很难做出理想的效果。

基于虚幻引擎的虚拟技术是真正能够引领电竞直转播行业的革命性技术,因为虚幻引擎强大的实时渲染能力让他成为现如今大型项目虚拟制作的不二选择。国外大厂ZERO density于2016年推出全球首款基于UE4的虚拟演播室及AR的系统解决方案,这个方案在2017年在英雄联盟S7北京鸟巢得以呈现,项目一共采用了6个常规机位和两个备份机位,是全国国际虚拟制作的标杆项目。

虚幻引擎让电竞节目的画面效果提升明显。我们2017年为鸟巢的龙做了100万个面片,而在常规制作中,能做到35万个面片已经是极限。但是通过虚幻引擎技术,我们在面片制作数量上又提高了10倍,从S7的100万个面片到了S10的1076万个面片。我们还通过MR/HR蓝箱的技术,在制作中加入了很多互动的元素。

传统的节目制作方式一般需要大量的动画制作人员、节目制作人员,但是对于电竞游戏公司来说需要的是游戏开发师、场景开发师、蓝图开发师。这些人力资源对于游戏公司来说是很易得的,通过员工间的快速转岗工作就可以把制作的模型素材应用到游戏直转播中去,大大地提高了节目制作的速度和效率。

2017年,我们还在美国首创了电竞复盘的技术,再通过TI把电竞复盘技术带到国内。目前所有的电竞赛事都在使用我们的复盘设备,复盘和虚拟的结合让所有画面变得更加真实。

虚拟制作在将来会变得更加复杂。原本只是虚拟背景剖像,后来加入数据元素,加入XYZ轴的位移关系,通过LED大屏做MR的制作。再后来加入远程节目制作的概念,让多个赛场、多个赛区、多个国家之间的选手能同时出现在一个虚拟舞台上。

虚拟制作将来在赛事中的参与度将会增加。从原来的开场秀扩展到了节目包装、复盘数据可视化、电影级的BP效果和全虚拟的赛场。

虚拟拍摄机位的数量也会增加。以前只有两三个机位,现在动不动是6个、8个机位。

在今年4月份,我们制作了CF的全国第一场赛事,我们应用了远程和虚拟技术,因为主持人和选手是分开的,选手在远端比赛,主持人在绿箱中主持。还有就是LPL全球高校联赛,因为疫情,选手们都是在高校演播室的绿箱比赛,通过远程传输技术将现场画面传到总控机房,在进行画面拼合,最后呈现给出选手们面对面比赛的效果。

还有我们针对于目前电竞赛事做出的革命性技术,主动观赛技术,这个技术是我们和网易于2020年3月份在日本提出的。我们希望通过虚拟场景的变化和虚拟场景的转场让观众们感觉像是自己在打开游戏大厅,进入游戏后,仿佛是和选手一起在游戏

这两年电竞行业发展得很快,我是2005年投身这个行业的。那时候的中国电竞还处于萌芽期。但是通过2012年、2013年的技术变革和发展,我们发现电竞的直转播水平已经达到了传统体育赛事直转播的水平。

从2017年开始,电竞的直转播水平甚至是已经超越了中超和NBA赛事的直转播水平。所以我们认为借助虚幻4引擎的光线追踪的技术,我们会在2021年给大家呈现出更加让人感到震撼的虚拟制作作品。

感谢大家!

#电竞

随机阅读

qrcode
访问手机版