“大家好,我叫新小微,是由新华社联合搜狗公司推出的全球首位3D 版AI合成主播,我将为大家带来全新的新闻资讯体验……”

一段极具未来感的视频播报画面和一个栩栩如生的3D数字人主播,在两会开幕前夕惊艳亮相新华社、大出风头,不仅让媒体再次聚焦搜狗这家AI公司,也引起了网友围观讨论:这个3D AI合成主播到底有什么不同?她的出现又代表着什么?

(搜狗联合新华社推出的全球首个3D AI合成主播“新小微”)

  全球首个3D AI合成主播,和游戏3D数字人不一样

很多网友初见搜狗3D AI合成主播,会第一时间联想到游戏中的3D NPC和电影中的3D数字人。不过,无论是从技术角度看,还是从实际运用考量,“新小微”这个全球首个3D AI合成主播,与游戏、电影等3D数字人有着根本上的不同。

从3D数字人建模的技术方面来看,目前市面上常见的写实类游戏3D虚拟人物、电影3D数字人大多采用blendshapp或骨骼动画技术进行制作,虽然保证了外形较高的写实度,但很难达到其在说话时面部细节动作的高度协调及自然。而搜狗3D AI合成主播采用了全球最领先的肌肉模型、肌肉绑定3D建模技术,使“新小微”面部表情及肢体动作的细节程度不亚于甚至高于一些影视作品及游戏NPC的写实程度,能够经得起高清特写镜头下皮肤材质、毛孔、牙齿、嘴唇、眼睛、头发等细节的高度逼真效果考验。重点是,在该技术的支持下,“新小微”模型每一个肌肉点的运动都会连带很多面部脸谱协同运动,这就实现了“新小微”讲话时,其语音和唇动细节、眼神、面部肌肉运动等整体面部的超高协调度及自然度。

(3D AI合成主播“新小微”高度逼真的面部细节)

在3D数字人驱动方面,游戏3D NPC和电影3D数字人目前还是主要靠人工驱动。需要让3D数字人进行一段动作时,先需投入大量的人力、财力扫描采集其真人原型的每一个发音和每一个动作,再通过动画师一点一滴勾勒制作生成,举个例子,游戏《魔兽世界》或电影《阿丽塔:战斗天使》中,一段几分钟高写实3D视频,需要的时间成本往往是以月计、甚至以年为计算单位,更涉及到数百万乃至上千万的费用成本。再如洛天依等目前比较火的卡通效果也是靠真人采集进行驱动,没有做到真正意义上的AI驱动。搜狗3D AI合成主播则不同,“新小微”实现了依靠AI算法的实时驱动,拥有给到一个文本就能即时输出一个视频或视频流的能力。也就是说,要让“新小微”播报一个临时突发新闻,只需在后台输入新闻文本,系统AI算法就能自动理解文本语义,实时驱动“新小微”实现一次面部、肢体和语音高度契合的播报。生成一个1分钟的视频,搜狗数字3D人只需要1分钟,成本低效率高,更利于市场的接入与使用。

  秉承“AI赋能于人”,推动AI发挥降本增效的实际价值

作为AI合成主播的开创者,搜狗分身一直是行业发展的风向标,也代表着业内最前沿的技术能力。此次率先推出3D AI合成主播,是搜狗分身技术的又一次重要突破。

能够随时变换发型,随时更改服装,随时去到不同的演播室,甚至随时穿梭于不同的新闻现场或虚拟场景中……,在AI算法的驱动下,只需要输入文本内容就能生成自然逼真的实时视频播报,并且可以无需休息、不知疲倦的工作下去,这让搜狗3D AI合成主播拥有了无可替代的实用性和普适性,也为新闻节目、视频内容的多样化制作和呈现带来了更多的选择。

更重要的是,初涉及3D数字人领域,搜狗就以低成本高效率实现媲美游戏影视专业领域3D数字人写实度的表现震惊行业,搜狗公司的AI技术实力可见一斑。未来,搜狗分身不仅可能实现在医疗健康、教育金融等垂直领域的落地应用,助力大众智能生活水平不断提高,也可能对影视游戏等专业领域的3D制作产生极大的助推力,降低成本提升效率,真正实现AI降本增效的实际价值。