时间：2023-02-05 20:02:05 | 浏览：743
澎湃新闻记者 程婷
“运动员要从一个近50米高的斜坡上下滑，顺滑、倒滑都可以选择，然后在斜坡的尽头腾跃，完成空翻、转体、抓板等技术动作组合……”
电视画面中，当主持人用较快的语速介绍冬奥会自由式滑雪大跳台项目时，画面左下角的红衣年轻女士手口并用，快速将这些内容以手语表达了出来。
2月5日以来，看过北京卫视《北京您早》节目的人可能见过上述这一幕。但很多可能不知道，电视画面中的女手语播报员不是真人，而是“冬奥手语播报数字人”。
据智谱AI CTO张鹏介绍，“冬奥手语播报数字人”的最大优点是，它是一套自动系统，可以大量节省人工；同时，它可以流畅地将语音播报生成为手语播报，堪比真人。
目前，“冬奥手语播报数字人”的语义表达完整性已较高，其手语表达的90%的内容听障人士与手语老师可懂。
“冬奥手语播报数字人”手语播报冬奥新闻画面。 项目研发方供图
国内最大规模多模态手语库作支撑
2022年北京冬奥会不仅是一场全世界奥运健儿与嘉宾欢聚的盛会，也是一场科技赋能的“智慧”盛会。
“冬奥手语播报数字人”采用了我国首个超大规模智能信息模型和虚拟数字人技术，由北京市科委、中关村管委会支持，智谱AI、凌云光和北京广播电视台联合为听障人士打造，清华大学贾珈教授团队和中科院计算所陈益强研究员团队也参与了相关关键技术的研究和开发。
该其系统以超大规模预训练模型为核心技术，自主搭建有多模态肢体动作、表情、手指同步采集系统，运用跨模态拟人生成算法、超高精度写实数字人等行业领先技术，实现了冬奥期间赛事新闻的专业手语翻译播报。
张鹏告诉澎湃新闻记者，像“普通话”一样，有通用手语，但也有类似方言的不同手语表达形式。因此，需要采集足够多的语料，才能让“冬奥手语播报数字人”能够准确表达不同场景下的内容的语义。
对此，“冬奥手语播报数字人”系统完成了《国家通用手语词典》收录的8214条通用手语的采集和录制，并且语法都以听障群体习惯打法为准，以确保手语播报成果的准确性和专业度。
据智谱AI合伙人、高级副总裁左家平介绍，由于当前国内缺少较完善的手语语料数据，研发人员在北京市残疾人联合会和市残联聋人协会的支持下，邀请超过40余位聋人老师及手语专家进行了手语文本转写和技术指导，并进行大范围听障群体评测，最终构建了符合国家通用手语规范的国内最大规模多模态手语语料库，词汇及语句总规模超10万。
张鹏表示，目前“冬奥手语播报数字人”的语义表达完整性已较高，就听障人士与手语老师的反馈来看，其表达的可懂度达90%。
左家平介绍“冬奥手语播报数字人”相关情况。 澎湃新闻记者 程婷 图
“智能数字脑”助力流畅、快速手语播报
电视中，“冬奥手语播报数字人”之所以能快速自如地将语音播报转换成手语，是因为研发人员已经克服了重重难关。
张鹏说，手语除了有“方言”与“普通话”外，其表达中诸如语序等一些规则和语音表达规则也不太相同。因此，“冬奥手语播报数字人”将语音转化成手语时，需要自动学习进行语序调整。
“新闻主播的语速通常是每分钟两百多不到三百字，手语表达达不到那么快的语速，但必须要能在正常合理的时间内把主要意思表达出来。这样，由语音播报转手语时，不能完完整整的逐字逐句的去翻译，需要动态去精简一些内容。”张鹏表示，这是一个难题，需要算法反复地去学习、调优。
为构建能够理解、翻译语音和手语的智能数字大脑，“冬奥手语播报数字人”系统以超大规模预训练模型为核心技术，通过语义蒸馏及手语翻译快编模型，实现新闻播报语音蒸馏成语义高度接近的手语文字，并翻译成符合手语习惯的语序。最终，手语数字脑可以通过计算机模仿听障人士的大脑，进行手语播报驱动。
此外，要让数字人展现出高精度、高自然度的人物形象和手语动作姿态，也是一件难事。
为此，研发团队自主搭建了多模态肢体动作、表情、手指同步采集系统。通过采集多模态动作捕捉数据，运用跨模态拟人生成算法对超写实数字人进行自然、流畅的驱动和渲染，实现对文本内容的手语播报。
其中，通过肌肉绑定技术驱动实现面部采集，结合业内领先的语音识别及高清视频合成等技术，呈现给听障人群亲切自然的冬奥手语播报服务。
“冬奥手语播报数字人”。项目研发方供图
与“虚拟AI主播”有何不同？
新亮相的“冬奥手语播报数字人”与常见的“AI虚拟主播”有何不同？
中科院计算机所所务委员、泛在中心主任陈益强向澎湃新闻记者表示，“虚拟主播”与“冬奥手语播报数字人”，身上都用到了虚拟人相关的技术，都追求形象的流畅性。
双方最大的区别在于：一般而言，AI主播动作比较自然即可；手语播报数字人则需要通过手势动作来实现表意的准确性和可懂度。
另外，传统的AI模型主要是进行语音播报，基本不存在可懂度的问题；但AI手语人存在手语打得是否可懂的问题，它需要用丰富的、夸张的表情来提高手语的可懂度。
张鹏表示，手语播报数字人的应用场景广泛，可以为新闻媒体提供全流程智能化的数字人手语生成服务，也可将声音广播内容转化为手语，以便听障人士可及时获取冬奥会赛事相关信息。
此外，推广手语播报数字人可加速国家通用手语推广落地，推动国家通用手语标准普及，为残疾人平等参与社会生活创造无障碍环境。
责任编辑：腾飞
校对：丁晓
每经记者：可杨 每经编辑：张海妮2月4日晚间，北京2022年冬奥会开幕式在国家体育场“鸟巢”举行。本届冬奥会期间，虚拟数字人成为重要技术之一，中央广播电视总台新增了央视新闻AI手语虚拟主播，报道冬奥会新闻、准确及时地进行赛事手语直播。据悉，
#虚拟主播直播1小时营收破百万#最近一段时间如果要问什么东西最火的话？在人工智能市场的虚拟主播无疑是大家关注的焦点，各家互联网大厂都纷纷推出了自己的虚拟主播引发了大量网友的围观，甚至于最近的一场虚拟主播直播实现了百万收入，很多人都在问这虚拟
澎湃新闻记者 程婷“运动员要从一个近50米高的斜坡上下滑，顺滑、倒滑都可以选择，然后在斜坡的尽头腾跃，完成空翻、转体、抓板等技术动作组合……”电视画面中，当主持人用较快的语速介绍冬奥会自由式滑雪大跳台项目时，画面左下角的红衣年轻女士手口并用
从虚拟人鼻祖初音未来，到中国本土虚拟歌手洛天依，再到横空出世的中国首个超写实数字人AYAYI，虚拟人定制市场正呈现爆发式增长，逐渐由二次元小众文化走向大众化、商业化、细分化，成为科技产业与品牌营销的新风口，在大厂纷纷入局的后疫情时代，虚拟人
当社长最近意识到虚拟主播比虚拟歌姬更火的时候，是我旁边的程序员同事把用了三年初音未来壁纸换成了神乐七奈的时候！（阿夜：狗妈！好耶）讲道理，社长可能是真的老了，无法理解为什么初音未来居然已经是过去式了（阿夜：既见未来，为何不拜）现在的V家厨大
随着元宇宙概念全球升温，虚拟人产业越来越红火，国内外的科技巨头几乎都已进入这一赛道。广电行业也非常重视元宇宙产业，争相入局。在元宇宙应用场景中，虚拟人、虚拟主播无疑是广电的最爱。根据艾媒咨询发布的《2022年中国虚拟人行业发展研究报告》，2
2022年的直播市场，虚拟主播开始走到了直播舞台中央。作者 丨 流 霜编辑 丨 柳不恭“嗷呜呜呜，嗷呜呜呜……”，持续48秒的小狗叫，内容简单到过分。这是来自海外的虚拟主播Shoto，在B站发布的第一条视频内容。Shoto的“处女秀”达成了
近日，虚拟主播Vox入驻B站。看似只是小水花，却激起层层大浪。其首日直播营收就破百万，荣登B站实时热门第一。这令许多旁观者不解：都不是真人形象主播，一个“虚拟人”有这么大魅力吗？在其直播间中，不仅刷礼物速度快，弹幕也是整整齐齐，如大军来袭。
顶端新闻·河南商报首席记者 孙科 记者 郝瑞铃 白刘阳 王丹/文6月16日，“我为河南发声”2022首届顶端发声者大会正式启幕。大会现场热闹非凡，参会嘉宾或在打卡墙拍照留念，过足成为“焦点”的瘾;或驻足胡锡进、杨德龙等大咖的展位，静静阅读大
10月7日，正当人们都在欢庆最后一天的假期时，一条长达一个小时的视频引发了VUP（虚拟主播）圈的热议。该视频由虚拟主播冰糖的小号发布，标题是“我与人渣的三年”，主要内容为控诉虚拟主播张京华和冰糖的恋爱期间的一切渣男作为，包括立单身人设骗粉丝
近日，B站虚拟主播“柏凛 Porin”发布一则名为《关于我消失了半年其实是被拐卖了这件事》的视频。该主播在视频中表示，自己停更半年是因为被拐走卖给一名中年妇女，并遭受了虐待，所幸后来被警方解救。此视频一经发布便引起了观众的热议，观看量超过7
随着政府企业及互联网大厂积极布局元宇宙赛道，元宇宙概念将为虚拟人和虚拟场景提供商业化契机。艾媒咨询数据显示，2021年中国虚拟人带动产业市场规模和核心市场规模，分别为1074.9亿元和62.2亿元，预计2025年分别达到6402.7亿元和4
近日，上海迁誉网络科技有限公司（简称：迁誉网络）发生工商变更。成都峰睿天投创业投资中心（有限合伙）等三家合伙企业退出股东行列，新增B站关联公司上海幻电信息科技有限公司为股东并全资持股；同时，法定代表人由汤家骏变更为郑彬炜。值得注意的是，就在
双11当天上午11点整，快手小店带来连麦专场直播活动。据悉，该活动由快手小店发起，致力于为老铁送双11福利。然而，不同于此前的直播活动，本次直播中，快手小店迎来了一位特别的新人，实习主播“关小芳”。“有个姑娘叫小芳，长得好看又善良……”伴着
凡拓数创10月11日在互动平台表示，公司拥有成熟的3D可视化技术及数字多媒体集成技术两大核心技术。其中包括：三维建模技术、渲染技术、动画技术、交互式3D技术、大数据3D可视化技术、立体（全息）成像技术、多媒体数字沙盘系统开发技术、异形幕数字
