欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

连续直播70天,竟无人察觉这是个虚拟人

时间:2023-02-05 19:38:47 | 浏览:703

机器之心原创撰文:吴昕「节目 24 小时都在做,半夜也直播,你们得给主播多少加班费?」每日经济新闻一亿多的财经用户中,终于有人按捺不住疑问,「到底哪些地方是 AI 做的?」此时,距离两位每经知名财经主播数字孪生虚拟人 N 小黑、N 小白上线

机器之心原创

撰文:吴昕

「节目 24 小时都在做,半夜也直播,你们得给主播多少加班费?」每日经济新闻一亿多的财经用户中,终于有人按捺不住疑问,「到底哪些地方是 AI 做的?」

此时,距离两位每经知名财经主播数字孪生虚拟人 N 小黑、N 小白上线直播已经过去 70 多天。上次,全民被「蒙」还是英伟达发布会上闪现几秒的虚拟「黄仁勋」。

事实上,屏幕上所有内容都是出自 AI 之手。除了 7×24 连续播报的主播,背景播放的视频,包括金融资讯,都是 AI 做的。

「这套东西在业内还从来没出现过。」小冰公司首席运营官、人工智能创造力实验室负责人徐元春说。

一、何以虚实难辨?

N 小黑双手自然摆放身前,播报内容不同,他的眼睛、嘴唇和口型也会随之变化,眉毛甚至脸部肌肉也会微妙运动。

虚实难分的视觉效果,离不开小冰深度神经网络渲染技术(Xiaoice Neural Rendering, XNR)。与传统计算机图形技术不同,这种渲染技术通过数据驱动而非物理定律获得渲染函数,其函数一般用深度神经网络通过学习构建。

它使得数字人的面容、表情、肢体动作等在内的整体自然度大幅度提升。尤其是整个嘴型的驱动,以及嘴部动作和整个眼部脸部肌肉的协同。

具体来说,小冰团队首先需要训练两个专家模型。一个是在大数据上训练语音专家模型,它能理解人类语音。

另一个是在目标主播数据上训练嘴形专家模型,学习目标主播嘴形与表情以及语音之间的关系。

比如,主播说「我」、「我爱祖国」,与眼睛会有怎么样的联动关系、与脸部肌肉有什么联动的关系。团队会做一个模型去来学习训练这个过程。

接下来,团队还要训练人脸渲染模型,输入是语音,渲染出正确的人脸。该训练过程受到之前两个专家模型的监督,以保证渲染质量。

最后是驱动过程,输入语音,形成完整的主播视频。

小冰数字孪生主播 N 小黑。

其实,「虚拟人」表现性一直是个很大的技术挑战。人眼对表情的识别能力强, 「虚拟人」一旦动起来就很容易被识破。

一些常见的市面技术打造出来的虚拟主播,形象通常比较呆板,肌肉、眼睛也不动,只适合播报一些快讯、天气预报。

我们希望用户使用这项技术时,不排斥,也不觉得不自然。「这在数字虚拟技术上是一个非常大的挑战。」徐元春说。

当一些人士开始疑问哪些部分源自 AI 时,已经说明人们在过去一段时间已经不知不觉地接受了新技术。「这是一个非常好的 measurement,」在徐元春看来,也正是这个项目的标杆意义所在。

值得注意的是,小冰团队采用的神经网络渲染技术,与今天风靡的 3D 建模技术路径不同。

后者需要在每次制作内容的时候,在绿幕前进行动作捕捉,再进行模型绑定,然后形成生成视频,进行后期渲染。

这种生产模式其实和好莱坞电影的生产方式其实是一样的,只不过标准可能会低一些、内容时长会短一些。

这种技术逻辑优势在于只要愿意砸钱,可以打造非常多样的场景,但问题在于,生产成本会非常的高、制作周期也会比较长。而且,无法做到实时大量生产内容。这些因素也严重阻碍了该技术逻辑广泛赋能 2B 行业。

相比之下,小冰全新数字孪生虚拟人技术的打造成本和周期都大为降低

据徐元春介绍,项目的训练数据来自 N 小黑(@N 小黑财经)和 N 小白(@每经小白基金),采集完一个人视频数据、处理好后,用小冰团队的模型,大概一周时间就能训练出一个比较高质量的虚拟数字人形象,然后驱动「他」完成播报,制作内容。

如果采用 3D 建模技术,仅建模就一个多月。这还不算后续流程所需时间。整个项目运作下来,几个月的周期都还算快的。

二、首次实现采编播全流程自动化

市面上做很多虚拟人的技术,往往都停留在了一个离线的状态或者叫半离线的状态。

比如,在网上他有他的图片,有他的海报,但其实你并不会看到他,那可能你会看到他的一段广告的视频,但也就仅此而已。

某公司做了一个虚拟人,播报了一段东西,然后上线,赚取了一些流量。这种技术更像是一种宣传,并没有真正改变某个产业及其部署的场景。

而 7×24 小时持续播报,内容都是实时生成的 N 小黑们,正在改变今天内容生产和分发的方式:

只要输入播报内容,系统会自动将文本信息转化为声音,经过预训练的模型,驱动虚拟人形象、表情,最终生成完整的直播视频推流,全过程不再需要人工参与。

N 小黑们不会因为主持人的生病或者其他原因缺席工作,导致内容生产断掉。人类生产内容都会有瑕疵或都会有错误,AI 会完全按照原来既定文本内容去生产。

这样一个真正端到端实时在线系统,也是业内还从来没出现过的。徐元春说,他们不再是一个简单的宣传,而是一种工业化、商业化输出

事实上,通过小冰框架实现视频采编播全流程的无人化操作,也是源自几年前的「脑洞」—— 有没有可能以 AI 的方式,帮每日经济新闻做成一个类似彭博资讯那样的 24 小时财经电视节目?

当时,每日经济新闻金融资讯均由小冰人工智能技术自动生成,在中英文双语资讯同步生成的同时,已实现秒级速度的自动化全平台推送。每日经济新闻也因此可以面向全球客户和用户提供金融信息服务。

但小冰团队希望可以走得更远,做一些更具开创性技术,赋能这个行业,也因此一路披荆斩棘。

小冰已经可以实现各种上市企业公告秒级的形成摘要。为了实现虚拟播报,还需要其他数据。比如,怎么将每日经济新闻提供的数据端口和摘要技术结合到一起,然后,再和数字人的形象结合到一起?

屏幕上,数字主播不只是在播新闻,旁边还有一个背景视频也在播出新闻,这也需要视频混合生成技术的支持。

你要让这个节目可看,就不能只有两个人,还得需要有别的视频出现,徐元春举例说,这些视频也要被用 AI 生产出来。当然,难度没有数字主播这么高,但也是一项技术挑战。

最后把所有技术再捆绑和包装起来实时推送到直播平台,也是一个巨大的工程挑战。

对于小冰数字孪生虚拟人技术的先进性和竞争力,团队很有自信。

数字虚拟人市场上,有的人会做形象,有的人可能自己会做 NLP,提供一些创作的工具,但是,因为其只是整个链条中一个环节,其实很难产生实际的效果。

人工智能的内容生成最大的特点是稳定输出高并发,整个内容生成流水线一旦启动,如果任何一个环节掉链子,整个内容生成就都卡在那个环节上了。

从技术的完备性角度来讲,我们是最完整的,从自然语言处理、计算机语音到计算机视觉再到人工智能内容生成,有一个完整的技术栈,徐元春说。

而且,积累的大量端到端 know how 经验,更有利于将虚拟人带到现实世界,而不仅仅停留在宣传层面。

真要做这件事情的时候,就会发现,端到端地实际上解决很多问题。换句话说,已经发现的问题远远少于那些你都不知道的问题,徐元春说。

事实上,每日经济新闻这个项目做的时间是比较长的,主要时间不是花在技术,而是场景打造、探索 know-how 上,最终的打造和磨合也花了不少时间。

比如,大多数虚拟主播,播报了一段新闻或者播报了几十秒的信息。如果是这样做的话,就失去了虚拟人的最大价值。

三、释放产业价值

现在,小冰团队正通过模型迭代,将训练时间压缩到更短。

另外,据徐元春透露,这一次只发布了我们和每日经济新闻的项目,后面还将陆陆续发布一些技术。大家能看到实测,比如虚拟主播不仅可以说中文,也可以说其他不同语种。

得益于全新数字孪生虚拟人技术中语音专家模型,虚拟人能够去理解人类语音,不只是中文,要理解不同语言。这个模型训练好后,虚拟主播不仅可以说中文,也可以说其他不同的语种,不用再为单独语种做训练。

比如,做完数字孪生建模之后,通过最后渲染,虚拟主播可以说中文,也可以说英语,即使原型从来没有学过英语。

新增一种能力,就像插卡一样方便。从这个角度来讲,小冰的数字孪生虚拟人技术不仅仅是一个把原来的人复刻了,在这种复刻基础上,它将来会拥有更大的可能性,包括能力

在数字孪生领域,小冰已经走完第一阶段,完成端到端所有的技术和产品化开发,行业用户可以非常方便的去使用这个平台,创造自己的虚拟人。

接下来,小冰希望赋能更多行业。在每日经济新闻,小冰赋予虚拟人撰写金融资讯的能力,对于其他的虚拟人,小冰可能会赋予其他不同的专业能力,最后放在一个具体场景里,通过端到端的方式实现出来。

不过,每个行业场景存在区别,要做针对性开发,因此也需要对技术做更多拓展。这个时候,所谓技术布局,也意味着和很多生态合作伙伴合作赋能。

比如,有些客户仍然喜欢 3D 建模超写实技术,但同时也希望这个虚拟人拥有交互能力、声音的能力,小冰框架仍然可以赋予虚拟人这些能力。

在徐元春看来,这种方式会让整个虚拟人生态呈现出一个比较完备,不至于完全封闭型的逻辑。

被新冠疫情割裂的 2021 年成为很多人眼中所谓的数字虚拟人元年。

远程办公、在线娱乐等在线生活场景用户暴增,激活市场对虚拟现实的进一步想象。

在强大的云计算技术支撑下,内容制作突破限制,人工智能算法辅助内容生成,似乎让虚拟人的想象力可以无限拓展。

与那些希望借此蹭一把热度的企业来不同,过去七年,小冰团队一直坚持在做这种虚拟人,一直在完善各种各样的技术栈。

并不是因为大家觉得虚拟人市场火了才做。徐元春说,我们一直在这个领域在做自己认为正确的事情。

从产业链角度来看,大家也正在慢慢看到,数字虚拟人的格局其实远远超过虚拟偶像的范畴。

比如,今年北京冬奥会,测试赛的自由式滑雪空中技巧项目,没有用人来裁判,而是采用了小冰框架竞技体育国际赛事评分系统。

未来,小冰仍然会遵照这样的布局和节奏,加速数字虚拟人战略布局和研发。

「我觉得,这是一个不变的东西。」徐元春说。

相关资讯

又虚拟人爆火!直播一小时打赏过百万,虚拟主播成品牌营销密码?

近日,虚拟主播Vox入驻B站。看似只是小水花,却激起层层大浪。其首日直播营收就破百万,荣登B站实时热门第一。这令许多旁观者不解:都不是真人形象主播,一个“虚拟人”有这么大魅力吗?在其直播间中,不仅刷礼物速度快,弹幕也是整整齐齐,如大军来袭。

虚拟人现身直播间快手官方电商虚拟主播获百万老铁观看

双11当天上午11点整,快手小店带来连麦专场直播活动。据悉,该活动由快手小店发起,致力于为老铁送双11福利。然而,不同于此前的直播活动,本次直播中,快手小店迎来了一位特别的新人,实习主播“关小芳”。“有个姑娘叫小芳,长得好看又善良……”伴着

数字虚拟人进入3.0,用来直播带货却费劲

“只要脸皮厚,都是元宇宙;只要是出镜,都能虚拟人。”刚刚过去的跨年晚会,虚拟人火了一把。于是,虚拟人被蓝色光标副董事长熊剑分成了三类:服务型、偶像型和直播型。早在11月16日蓝色光标就在投资者互动平台表示,已售出34间虚拟人直播间,例如:联

连续直播70天,竟无人察觉这是个虚拟人

机器之心原创撰文:吴昕「节目 24 小时都在做,半夜也直播,你们得给主播多少加班费?」每日经济新闻一亿多的财经用户中,终于有人按捺不住疑问,「到底哪些地方是 AI 做的?」此时,距离两位每经知名财经主播数字孪生虚拟人 N 小黑、N 小白上线

产业规模要超千亿元虚拟现实发展计划出炉浙文互联布局虚拟人

随着5G时代的到来,在高速网络支持和更沉浸的内容体验加持下,注定将成就虚拟现实技术,未来的生活或许将会更多地在虚拟与现实世界之间无缝切换。日前,由工业和信息化部会同教育部、文化和旅游部、国家广播电视总局、国家体育总局等五部门联合发布的《行动

又一名虚拟主播塌房!“完美”的虚拟人才应该被推崇吗?

10月7日,正当人们都在欢庆最后一天的假期时,一条长达一个小时的视频引发了VUP(虚拟主播)圈的热议。该视频由虚拟主播冰糖的小号发布,标题是“我与人渣的三年”,主要内容为控诉虚拟主播张京华和冰糖的恋爱期间的一切渣男作为,包括立单身人设骗粉丝

中国虚拟人市场趋势分析:虚拟主播缺口高达900万

随着政府企业及互联网大厂积极布局元宇宙赛道,元宇宙概念将为虚拟人和虚拟场景提供商业化契机。艾媒咨询数据显示,2021年中国虚拟人带动产业市场规模和核心市场规模,分别为1074.9亿元和62.2亿元,预计2025年分别达到6402.7亿元和4

企业员工、歌手、带货主播……数字虚拟人频频出圈,能在多大程度上替代真人?

近日,一位获得2021年度万科公司优秀新人奖的员工“出圈”了。这位名叫“崔筱盼”的员工并非真人,而是数字化虚拟员工。无独有偶,在江苏卫视的跨年晚会上,以邓丽君为原型的虚拟人与真人歌手对唱。再加上上海浦发银行的数字员工“小浦”、可以作诗作曲的

虚拟人火爆2022,但痛点也不少

经济观察网 记者 任晓宁 2022年开年,虚拟人突如其来的火了起来,影视公司、短视频公司,公关公司,经纪公司,汽车公司,地产公司,纷纷推出自己的虚拟人。一时涌现出一种“满城尽是虚拟人”的盛况。但仔细观察,能有名有姓,有特色有人设的虚拟人,仍

淘宝智能直播间:虚拟主播直播带货这条路走通了吗?

一、淘宝智能直播间是一款怎样的产品不知道大家有没有发现,深夜打开淘宝会发现越来越多商家在使用虚拟主播直播带货。虚拟主播们不仅可以介绍商品,还能回答问题,欢迎新进直播间的观众,甚至和观众玩互动小游戏。这个2020年夏天投入测试的功能,目前已经

虚拟主播直播2.5小时收入百万元?虚拟主播真能赚大钱?

#虚拟主播直播1小时营收破百万#最近一段时间如果要问什么东西最火的话?在人工智能市场的虚拟主播无疑是大家关注的焦点,各家互联网大厂都纷纷推出了自己的虚拟主播引发了大量网友的围观,甚至于最近的一场虚拟主播直播实现了百万收入,很多人都在问这虚拟

虚拟数字人怎么制作?如何打造专属虚拟偶像和虚拟主播?

从虚拟人鼻祖初音未来,到中国本土虚拟歌手洛天依,再到横空出世的中国首个超写实数字人AYAYI,虚拟人定制市场正呈现爆发式增长,逐渐由二次元小众文化走向大众化、商业化、细分化,成为科技产业与品牌营销的新风口,在大厂纷纷入局的后疫情时代,虚拟人

虚拟偶像、虚拟歌姬、虚拟主播到底谁更火?他们有啥区别?

当社长最近意识到虚拟主播比虚拟歌姬更火的时候,是我旁边的程序员同事把用了三年初音未来壁纸换成了神乐七奈的时候!(阿夜:狗妈!好耶)讲道理,社长可能是真的老了,无法理解为什么初音未来居然已经是过去式了(阿夜:既见未来,为何不拜)现在的V家厨大

海康网络摄像机可以当网课直播摄像头吗?海康摄像机OBS直播设置

由于疫情等影响,学生大部分都会在家使用电脑上网课,白领在家办公开视频会议等。正常情况下都需要使用USB摄像头连到电脑使用。但是有时候我们身边没有USB摄像头,那么海康威视网络摄像机可以充当USB摄像头使用吗?实际上是可行的,可以通过OBS软

专门用于直播的摄像机,海康威视直播摄像机来了!

多元化的今天,主播也化身成为一种职业,提供直播服务的平台越来越多,很多教育机构也在做线上教育,视频的质量对于用户来说,是非常重要的,所以需要用到专业的直播摄像机,海康威视推出了一款直播摄像机,效果怎么样?一起来看看。

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈长城坦克评测网万国手表收藏周大生珠宝菠萝水果网地铁出行网php编程知识家用吸尘器品牌网瑞典旅游网路虎汽车网郭姓氏取名网速比涛泳镜商会资讯网海底捞折扣网TCL电视评测网海信家电股票
虚拟数字人官网-抖音直播间虚拟背景图软件、免费的虚拟主播软件、ai虚拟主播软件、虚拟直播间软件、搭建虚拟直播间软件、百变虚拟直播间软件、抖音虚拟直播间APP、3D虚拟数字人、虚拟数字人直播带货、元宇宙虚拟数字人app、虚拟人免费制作软件、Ai数字人创作平台。
虚拟数字人官网 mrdn.cn ©2022-2028版权所有