从Siren到“航天员”小诤,虚拟数字人经历了怎样的蜕变?

桂志伟

桂志伟

· 2021.09.07

这也是对未来的思考

这也是对未来的思考

人类正一步一步走向Oaisis绿洲世界。

随着人工智能、5G、云渲染、动捕等技术的突破,虚拟数字人逐渐进入大众视野。

在刚刚落幕的2021ChinaJoy上,数字人行业首场展会落地,数字员工、虚拟偶像、虚拟主播等争相亮相,以及推出虚拟数字人线下互动体验等技术方案和各类XR社交游戏等,让普通用户一览新奇。

这不禁让笔者联想到史蒂文·斯皮尔伯格的《头号玩家》,一套VR设备便可将主角韦德·沃兹拉入到寄托人类救赎的虚拟世界——Oaisis,化身成帕西法尔,开启另一段人生旅程。

近年来,脑机接口、Metaverse、超级数字场景等前沿概念不断兴起,人类对未来世界形态的探索愈发强烈。

可以想象,如果当人类都可以进入这一未来场景中,所需创建的虚拟角色体量应该是空前庞大。显然,仅靠人工手动完成几乎不可能,届时我们就需要工业化的标准生产流程和更智能的创作方式。

这也是很多国内企业正在努力探索的方向。

6月20日,在神州十二号成功发射,三位航天员顺利抵达空间站后不久,由新华社和腾讯联合打造、专门面向航天主题和场景研发的数字航天员、数字记者“小诤”亮相,带用户漫游三大空间站。

8月20日,“小诤”又在航天员二次出舱当日进行了全面报道她将承担起载人航天工程、行星探测工程、探月工程等国家重大航天项目的“现场报道”任务。

据官方介绍,全球首位数字航天员小诤“诞生”于腾讯游戏旗下NExT Studios(以下简称:NExT),由团队15名研发人员精心培育。其中包括虚拟数字人Siren(塞壬)制作团队的核心创始成员。

近日,竞核对NExT Studios数字人团队进行了专访,进一步了解了“小诤”背后的虚拟数字人技术。

塞壬到小诤,创作周期减半

“小诤和Siren(塞壬)还是有很大区别,前者是超写实数字人,后者是高保真数字人。”团队负责人葛诚耐心解释到。

Siren(塞壬)是NExT在2017年启动的高保真数字人项目,取名于北欧神话中的女妖塞壬。

据悉,当时这个项目的目标是Crossing the boundary:跨越影视和实时渲染边界,制作可实时交互的数字人物;在高保真角色基础上,进一步增加高精度的实时动作捕捉与渲染。

2018年,Siren(塞壬)正式亮相GDC,其高还原度媲美真人的形象,以及可实时驱动的表情动作,可以说激起了人们对虚拟人技术的无限想象。

回到区别层面,高保真数字人更趋向“复刻”。例如Siren(塞壬)外形跟其原型演员姜冰洁长得一模一样。

“对我们来说,Siren(塞壬)项目整个过程中最艰难的就是要做这样一件事,我们把它称之为Lookdev,这也是电影行业做数字人的常用流程。而小诤则是朝超写实方向做的。”

所谓超写实,更偏向“无中生有”。

例如小诤的形象原型,先是新华社团队(全称:新华社媒体融合生产技术与系统国家重点实验室)对人物角色进行定位,与NExT团队将数百位新闻工作者以及航天工作者人脸叠加得出原画,然后根据这一原画挑选一位形象接近的模特,通过自建的Photogrammetry Lab对模特进行完整细致的扫描建立基础模型。再对模型进行二次艺术加工,并赋予人物个性特性,最终得到小诤的形象。

而小诤与Siren(塞壬)之间也有着相同点——“实时”。

对此,葛诚介绍到,采用虚幻引擎其实就是为了能够实时渲染小诤,让她能够做live或者直播类的应用。

 

当然,从塞壬到小诤不仅有沉淀与继承,也有突破与创新,其核心技术就在于“绑定”。例如,塞壬项目做了大半年时间,其中最耗时的就是绑定流程,而小诤项目绑定流程差不多在2个月左右。

 

“我们花了两年左右时间逐渐沉淀出一套高效人脸制作管线——xFaceBuilder®,可以在两个月时间里生产出一套同品质的绑定。”葛诚透露到,“除了绑定,这一技术还兼顾了前期建模以及后期动捕。”

也就是说,建模、绑定、动画三个数字人创作中比较重要的环节,都被纳入xFaceBuilder®中,并给出统一的解法。得益于此,小诤项目整体周期从半年缩短到3个月内。

虚拟数字人与游戏

谈及虚拟数字人应用场景,可能很多人都觉得过于前沿。其实现阶段,这一技术也在推动低维层面事务发展。

例如我们熟知的游戏行业。

有一说一,3A游戏角色其实还达不到“小诤”这类虚拟数字人的品质。

 

故此,NExT从虚拟数字人技术中抽出了一套相对匹配的制作管线,可以为3A级游戏甚至可以再往下为手游,快速生成符合游戏产品品质的人脸生产管线。

当然,从成本上来讲,数字人的成本支出非常大。例如团队在“小诤”脸上种了10万根面部汗毛,这对机能的消耗是极其庞大。

目前数字人项目主要是以高效出片为主,相对能接受比较高的性能开销,譬如靠对堆Mesh数量来达到效果。而在游戏这样一个实时互动的场景下,可利用xFaceBuilder®来完成高效推荐。

其实从《重生边缘》目前展现出的效果来看,其品质基本接近主机大作水准。

据笔者了解,NExT中有很多成员来自海外3A厂商,近两年团队也在加速工业化制作流程。

 

“游戏工业化,必须要走。就好比人类从农业手工作坊到现代化社会,必须要走工业化这条路。”葛诚坦言。

近年来,腾讯在3A游戏或者说游戏工业化领域的布局也明显加快。包括将外部大厂工业化管线引入厂内,进行定制化改进等。据悉,在某些领域腾讯已经做到了行业头部。

聚焦游戏工业化,在竞核《70页深度:中美游戏工业化进程对比、产业拐点、演化趋势》一文中(点击蓝字复习全文),将其分为三个阶段:第一阶段,积累、整合、中台化;第二阶段,3A品质、供应链;第三阶段,人工智能技术(AI)在游戏产品中的应用。

从中可以看出,AI被视为游戏工业化后期阶段的核心技术。对NExT来说,这也是重要研究方向之一。

在开发xFaceBuilder®过程中,他们就采用了大量AI算法技术来提升效率。比如将基于deep learning的一些AI算法应用到制作管线上,来提升绑定、渲染效率等。

此外,AI也可用来提升用户体验,包括采用超分技术,在相对较弱的显卡上渲染出4K或4K以上分辨率的图片。这与当前热门概念“云游戏”的特性类似,即低硬件门槛,高品质体验。

葛诚总结到,AI基本上带来两方面利好:在工业化管线上,提升效率;面向用户,提升体验。

必须提出的是,这一切都源自NExT在虚拟数字人领域的研究与沉淀。

我们对未来的思考 

回溯历史,每个时代都有属于自己的游戏形态,它对文化、科技的传承与发展都曾产生过积极影响。

在当今社会,游戏充当着各个行业的动力源泉。例如人们对3D游戏的需求驱动显卡技术的革新,《王者荣耀》等游戏成为文创、文旅领域的新兴媒介,以及“小诤”等虚拟数字人已经开始承担起传播科技、航天知识的重任等。

腾讯高级副总裁马晓轶曾公开表示:“游戏,正在成为一个超级数字场景。”

如何更好的迎接未来,值得当下的我们去深思。就简单说虚拟数字人领域,其实还有很多瓶颈亟待突破。

前文我们提到,NExT在创造“小诤”的过程中,采用了光学动捕技术。虽然光学动捕技术对动作的捕捉精度高,但相对于惯性捕捉和视觉捕捉技术,它对环境的要求也更高, 并且造价高昂。

葛诚坦言,目前虚拟数字人技术主要不是面向普通用户,更多是为ToB单位提供内容制作。采用光学动捕这类比较重的技术,既是为了保证品质,同时也可以形成一致的动画生产管线。
 

据笔者了解,NExT在上海嘉定有自己的Vicon棚,也有一套从动捕到引擎的生产管线——xMoCap®技术。这条生产管线既适用于一般性游戏,也适用于虚拟人场景。

除了在这方面的思考与布局外,他们对超级数字场景/Metaverse也有着自己的理解。

NExT Studios总经理沈黎在媒体采访中提到,尝试把现实世界中的东西捕捉为数字资产,你可以理解为数字化。建立超级数字场景本质就是数字化,而我们会更聚焦于“人”上面。

 

他认为,AI本质上是把现实与数字进行了融合,希望尝试这种技术是否能解决游戏以外的问题。

早在2018年,NExT就着手于在Siren(塞壬)这张皮上面加一个AI的脑子,即虚拟数字人+AI的模式。

SIGGRAPH Asia 2018现场,“塞壬AI”技术使得数字人能够和真人通过大屏进行聊天互动;SIGGRAPH Asia 2019的Realtime Live环节,NExT Studios又一次携带能说多国语言,能表达多种情绪的男性数字人Matt实时进行了展示。

“在Matt项目上,我们主要做的就是利用AI语音驱动数字人口型以及表情。”葛诚说到。

 

而如今的“小诤”就好比处在从试着行走到奔跑的成长过程中。

本文系作者桂志伟授权竞核发表,并经竞核编辑,转载请注明出处、作者和本文链接
想和千万竞核用户分享你的新奇观点和发现,点击这里投稿

注册邮箱未验证

我们已向下方邮箱发送了验证邮件,请查收并按提示验证您的邮箱。

如果您没有收到邮件,请留意垃圾邮件箱。

更换邮箱

您当前使用的邮箱可能无法接收验证邮件,建议您更换邮箱

账号合并

经检测,你是“竞核”和“商业价值”的注册用户。现在,我们对两个产品因进行整合,需要您选择一个账号用来登录。无论您选择哪个账号,两个账号的原有信息都会合并在一起。对于给您造成的不便,我们深感歉意。