“谷小雨”参与亚运会报道游戏科技应用新方向拓展

admin 阅读：151 2024-01-02 13:16:02 评论：0

　　10月8日,第19届亚洲运动会在浙江杭州正式落幕。在这场亚洲规模最大的综合性运动会闭幕式上,腾讯游戏知几团队与浙江卫视创新合作打造的数字人“谷小雨”在短片《最忆是杭州》中惊艳亮相,在呈现亚运之美的同时,向观众与选手表达欢庆与惜别。

　　亚运会期间,基于游戏科技打造的数字人“谷小雨”,出现在亚运会宣传的各个环节,以新闻播报、点评、访谈等方式频频登场,相关话题阅读量累计达600万,全网累计曝光量突破1200万,登上同城热搜,并被杭州亚组委官方点赞转发,探索出了数字人参与新闻报道的更多可能性。

　　见证体育精神:“谷小雨”的亚运会全景式宣传与报道

　　“谷小雨”是浙江省委宣传部指导、浙江广播电视集团部署,浙江卫视与腾讯游戏知几联合打造的数字人。“谷小雨”身着的改良宋韵服饰,结合了当下潮流元素进行了创新设计,水墨长裙的印花灵感则来源于南宋西湖图。其形象设计融合了古典文化与流行元素,寓意着雨生百谷,欣欣向荣。

　　在亚运会期间,“谷小雨”参与了亚运会系列宣传报道。浙江卫视的新闻栏目《亚运时间》以新闻播报、专家点评、嘉宾访谈等形式,聚焦运动之美、发展之美、人心之美,全景式展示杭州亚运会盛况。其中,“谷小雨”主持的@亚运板块,聚焦网络最新最潮的亚运热点,以具有感染力的内容形式,带领大众以全新视角感受亚运氛围,感受运动之美。

　　除了在大屏端通过《亚运时间》天天与观众见面外,“谷小雨”也在“Z视介”上也推出《谷小雨看视介》和亚运会吉祥物“三小只”一起主持,带用户一起看亚运精彩夺冠时刻。宋韵文化推广人与亚运吉祥物同屏,奇妙互动、妙趣横生,首期节目就获得获亚组委官方微博的点赞转发。

　　在中秋和国庆节期间,“谷小雨”还与亚运“三小只”推出了节庆表情包,以极具辨识度的形象火遍全网。由亚组委、中国蓝新闻及“谷小雨”共创的《当谷小雨遇上亚运“三小只”》短视频也在短视频平台迅速破圈,让国潮宋韵和亚运吉祥物碰撞出不一样的火花,为杭州第19届亚运会加油!收获众多网友关注:“没想到国风里的三小只和小雨这么美!”

　　这并不是“谷小雨”首次亮相重大活动。今年9月,2023宋韵文化节启动暨“意造大观——宋代书法及影响”特展在杭州举行,作为宋韵文化推广人“谷小雨”,又一次担任了宋韵文化节的主持人,展示了虚拟人物在文化传承和艺术表达方面的潜力。

　　作为国内首个使用虚幻引擎在广电AR实时舞台实现实时渲染的超过200万面数的高精度写实虚拟人,在全球体育和文化的盛大舞台上,“谷小雨”成为了无处不在的焦点之一。依托于AI智能驱动系统,谷小雨具备更加拟人的感知、表达和交互能力。亚运会后,谷小雨计划参与新一季的浙江卫视《王牌对王牌》等综艺节目,和神秘嘉宾进行互动,还将登上浙江卫视跨年夜晚会的舞台,为大家带来新奇妙的视听新感受。

　　“谷小雨”背后:高写实语音驱动3D面部生成与高表现低资源语音合成的探索

　　由南宋临安“穿越”而来的谷小雨,兼具技术之“形”与文化内涵所赋予的“神”,不仅仅是一段简单的代码,更是技术与文化、现实与虚拟的融合,是科技与传统艺术的交汇。这得益于背后“高写实语音驱动3D面部”和“高表现低资源语音合成”等技术的驱动,腾讯知几团队基于此推出了“AI驱动3D数字人口播内容平台”。据悉,谷小雨亚运期间的视频内容,都由该平台产出,只需输入文本即可快速转换成语音与自定义“谷小雨”的视频场景、动作。

　　语音驱动3D面部动画任务的目标是将输入的语音信号转换成生动逼真的3D面部动画。“谷小雨”采用了由腾讯游戏知几团队和Aivatar团队共同研发的业界首个使用非平行数据实现高写实语音驱动3D面部的算法,以及首个能使用开放文本控制生成面部动画的算法,不需要动画师或者技术美术的参与,只需要输入文字内容,就能通过合成后的语音实时驱动对应的面部表情。“谷小雨”也由此成为业内首个不依赖平行语音—动画训练数据实现高写实语音驱动3D面部算法的数字人,实现了通过语音到面部动画的全自动生成,支持各语种、歌唱、特殊语气等任意语音驱动,并支持多种情绪控制。

　　“谷小雨”还实现了语音驱动多种情绪面部表情,填补了语音预训练模型在中文领域的空白。研发团队完成了高质量情绪3D面部动画数据集的收集,共积累超百万帧高质量动画数据,拥有数万小时的中英文语音库。针对数据采集难的问题,提出了业内首个基于跨模态编码的半监督语音驱动3D面部动画框架,成为首个使用自然语言作为提示来实现灵活可控的情感语音驱动3D面部动画生成的团队。在语音表现方面,传统语音合成方案依赖高质量语音合成数据集,数据集的制作成本高、制作周期长、风格种类少,无法覆盖多种场景需求。腾讯游戏知几团队构建的多风格高表现力语音合成系统,实现了将文本转换成目标音色语音的音频,可以支持不同情感,不同风格,不同音色以及不同口音的语音生成。

　　此外,腾讯游戏知几团队在语音数据上有大量积累,包括中低质量的对话语音数据,以及高质量的游戏相关,阅读相关的语音合成数据数万小时。结合团队在文本语言模型领域相关的积累,腾讯游戏知几团队自研了基于大数据、大模型的语言合成方案,30秒就可以复刻语音的音色和风格,降低了语音合成落地成本。

　　为了快速高效地获得数字人的动作视频素材,研发团队还自研了数字人可控视频生成渲染系统,能够在较低算力支持的平台上也能快速部署,实现谷小雨视频素材的快速产出。

　　游戏科技与艺术的交融,探索数字人的更多可能

　　“谷小雨”以其高度写实的面部动画和多样性的语音合成能力,展示了以数字人技术为代表的游戏科技在文化创新化传播维度的有效应用,开启了数字人在多领域的新篇章。借助前沿的技术,这一全新形态的虚拟存在将赋予数字化时代新的可能性。

　　高写实语音驱动3D面部技术赋予了谷小雨近乎真人的面部表情与微妙的情感变化。而高表现低资源语音合成技术,则使其在各种场景中都能清晰自然地传递信息,无论是新闻报道还是艺术表演。

　　在文化、艺术和教育领域,谷小雨的出现为传统内容赋予了声音和生命,并使得中国文化以一种更为新颖的方式呈现。通过游戏技术的驱动,让中国传统文化有了新颖且潮流的呈现方式,能让外界更为直观的感受到中国文化的魅力。

　　在内容领域,结合基于大数据、大模型的语言合成方案以及高写实语音驱动3D面部等技术的驱动,数字人拥有了更加丰富的情感表达与互动能力。可以大幅降低制作成本,同时提高制作效率与质量。制作高质量的虚拟人视频不再需要高昂的成本和长时间的制作周期。这意味着,无论是大型的商业宣传,还是个人的内容创作,都可以快速、高效地生成高品质的数字视频。

　　“谷小雨”打开了一扇通往数字世界的窗户。在线上活动、虚拟会议等众多场景中,数字人能为用户提供更多的交互方式,让沟通更为真实、有趣,帮助真实世界与数字世界之间建立桥梁。