入园企业天娱数科:完成行业首个超400万面高精度模型的实时互动直播 引领虚拟人3.0模式

2022/10/28


如果说2021年是元宇宙“元年”,那么2022年则是虚拟数字人“元年”。虚拟数字人作为人类进入元宇宙的重要载体,让人人拥有“虚拟分身”并进入沉浸互联的元宇宙成为可能。从爆火至今,繁荣景象之下,虚拟人底层产业技术取得了哪些突破性进展?当现实世界与虚拟世界的融合不断加深,虚拟数字人又对人类社会生产生活哪些领域带来改变,又该如何应对虚拟人全面落地一系列挑战?

 

近日,英伟达在线研讨会——DIGITAL DAY2022解决方案日|虚拟数字人在行业内部低调召开,汇聚了来自英伟达、Epic Games、欧特克、Aitalk、Style3D等各个数字人应用领域的专家,共同探索数字人的关键核心技术,以及数字人目前在国内的应用及前景。

 

入园企业天娱数科控股子公司元境科技作为特邀合作伙伴参加了此次线上大会。元境科技CEO王智武结合天娱数科旗下首个文化出海的超写实国风虚拟人“天妤”,从技术与实践角度分享了主题演讲《解析:虚拟人“天妤”技术进阶之路》,“天妤”已完成行业首个超400万面高精度模型的实时互动直播。

 

作为国内最早一批投身于虚拟数字人行业的技术从业者,王智武表示,在元宇宙概念加持与资本注入下,虚拟数字人关键核心技术在近一年经历了快速迭代与发展。虚拟人从静态图片广告1.0模式、虚拟人动态视频2.0模式,即将快速过度到虚拟人穿越直播3.0模式,并将引领直播带货等新场景、新机遇。他认为,虚拟人的最大价值是它是虚拟世界的交互方式,最大优势是对空间与时间的穿越。


入园企业天娱数科:完成行业首个超400万面高精度模型的实时互动直播 引领虚拟人3.0模式(图1)


演讲之初,王智武首先介绍了贯穿演讲始终的主人公天妤。天妤,国内首个文化出海的国风虚拟人,她从壁画穿越而来,以现代科技演绎中国文化,通过凭借扣人心弦的故事情节与天妤在镜头前的生动表现,使得天妤仅上线3个月就在全网收获近400 万粉丝,相关话题覆盖超20亿人次,跻身头部虚拟人IP之列。能够成为一个现象级虚拟人IP,离不开出色的内容表现力与背后技术加持。而天妤的形象生成与内容制作的3次迭代进化,也折射了行业内虚拟数字人发展制作的三个阶段技术迭代与升级。


入园企业天娱数科:完成行业首个超400万面高精度模型的实时互动直播 引领虚拟人3.0模式(图2)


1.0阶段:传统制作,手K阶段


在1.0阶段,主要利用传统建模手段进行虚拟人面部与头部的3D建模制作,通过真人拍摄加上后期头部CG渲染、PS合成替换,完成图片、视频后期合成与制作,虽然身体与服饰自然度较高,但形象建模、拍摄、手工制作周期直接影响了的内容制作更新效率。所以,这个方式也是虚拟人1.0静态图片广告模式多采用技术。


同时,在1.0版本的细节也是存在着一些细节部分的不足,在面部的自然度与毛发的细节上无法通过现有技术再次进行细化,技术迭代断层。因此,天妤在尝试初期,传统制作方式即被快速替换。


入园企业天娱数科:完成行业首个超400万面高精度模型的实时互动直播 引领虚拟人3.0模式(图3)


| 2.0阶段:离线渲染,影视合成


在1.0的基础上元境科技对制作路径与形象生成内容方式进行了优化升级,2.0阶段天妤完成了形象的全身建模与服饰的资产制作,彻底摆脱了大量繁杂的拍摄工作与演员无法达到的特效动作要求,通过纯CG渲染的方式对人物面部表情、动作、光线效果等多离线渲染,丰富了天妤在不同场景下的内容制作与输出。


入园企业天娱数科:完成行业首个超400万面高精度模型的实时互动直播 引领虚拟人3.0模式(图4)


纯人工方式的动画制作与影视后期合成制作流程,虽然满足了超高精度虚拟人对内容的持续输出与制作合成,但制作成本高昂,这也是柳夜熙百万级制作费的由来。

 

同时通过传统人工制作动画的方式始终无法深度模仿人在说话、表达时的情感传递,同时大量的离线渲染与动画制作大大提高了人力与时间成本,且人物的细节始终无法与真人的细节进行1:1的高度还原。


| 3.0阶段:AI赋能


在1.0至2.0的过程当中,元境科技一直在对时间、成本、效果三个技术维度进行优化与解析,通过对虚拟数字人的全链路生产过程的深刻理解推出了3.0阶段智能技术解决方案,以自研AI算法解决各环节因周期长、成本高、效果参差不齐的实际痛点。

 

动态光场扫描建模技术,利用Magic Ball 对被采集人进行360°的全方位重光照扫描,可一键实时生成数字虚拟形象,生成数字形象效果可达亚米级别,可见人物毛孔等超清细节,大大提高了天妤的面部、肢体、毛发等细节效果的跨越式提升,相比传统建模周期相比效率提高了50%以上。


入园企业天娱数科:完成行业首个超400万面高精度模型的实时互动直播 引领虚拟人3.0模式(图5)


利用自研的智能绑定算法,实现键高精度的面部与身体骨骼绑定,保障了天妤在驱动生成内容时,面部与肢体动作的自然与传神。智能毛发解析渲染算法,可高品质对毛发进行细致化渲染,使其展现效果可1:1还原真人毛发质感,提升模型整体精细程度。


入园企业天娱数科:完成行业首个超400万面高精度模型的实时互动直播 引领虚拟人3.0模式(图6)


元境科技在完善AI智能生成虚拟形象技术的同时推出了首个虚拟人智能生成与驱动的SaaS平台-元享,在解决了高效生成数字虚拟形象的同时聚合了多类型化的驱动方式,满足对虚拟人日常的视觉化内容生成与输出:口播内容生成、线上互动直播、多IP实时互动、影视内容制作、游戏角色动画生成等。利用自研SaaS平台中聚合自研算法与驱动能力,完成行业首个超400万面高精度模型的实时互动直播的。


入园企业天娱数科:完成行业首个超400万面高精度模型的实时互动直播 引领虚拟人3.0模式(图7)


通过平台内置的,面部表情实时驱动技术、光线智能追踪与分布式智能云端渲染三项辅助智慧功能,真正实现了高精度模型在直播中的低延时与人场高度融合的完美结合。从而使虚拟人发挥真正价值与优势,而不是只停留在“画中人”、“剧中人”的模式。

 

在分享结束前,元境科技CEO王智武表示,在未来元享平台将继续深入结合市场痛点,以AI为技术支点,通过Meta-Surfing元享SaaS平台驱动“低成本、短周期、高质量”的虚拟数字人与虚拟内容生产,实现超写实、沉浸式实时互动,为各行各业数字化转型升级做出贡献。