无声胜有声 清华团队推出新颖唇语解读系统
人说话时嘴唇动作跟语音同步,可以通过识别唇动信息进行语言信息交流。唇语对讲话者友好,但是对解读唇语的听众来说却并不轻松,唇语解读一直以来是个难题,掌握唇语解读技能的成本较高。
据了解,为降低唇语解读难度,现有技术手段常采用磁场、视觉图像、超声波等方法。以最流行的非接触式视觉图像方法为例,其唇语识别准确率较高,但依然容易受到面部角度、光强、头动和遮挡等因素干扰。特别是在此次新冠病毒流行期间,佩戴的口罩给基于视觉的唇动解读带来全新挑战。因此,通过直接捕捉面部肌肉细微动作解读唇语技术具有重要的科学研究价值与广阔的应用前景。
如果在不久的将来,嘴唇掀动——“开门”,也许电子门禁能秒懂,马上识别身份并解锁;与汽车对话——“左拐”,或许可控制车的方向逐渐向目标移动;对于声带、喉舌损伤的失声人群,唇语可能将是一种不占用双手的、日常无障碍交流的有效方式……
这些想法,在近日清华大学机械工程系智能与生物机械团队推出一种新颖的唇语解读系统之后,将很有可能梦想成真。相关研究成果发表在最新的《自然·通讯》期刊上。
据了解,这项技术的主要试验和测试工作由清华机械工程系智能与生物机械实验室完成,中科院纳米能源与系统研究所的王中林院士对整个科研工作过程进行建议和指导。
那么,究竟这项唇语解读系统的新颖之处何在?“这个基于深度学习辅助自供电柔性传感器的唇语解读技术,目标是解决声带、喉舌损伤失声人群的日常无障碍交流问题,其不占用双手,不受面部角度、光强、遮挡和头动等外部因素的干扰,新颖之处在于开发自供电的柔性传感器(灵敏度0.61183V/kPa)采集肌肉的微小动作信号,并采用基于原型学习的深度学习模型,使用较少的数据训练,测试准确率可达94.5%,实现即时捕捉失声人群的唇动并转译成语音,可用于失声人群的日常无障碍语音交流。”3月29日,该论文第一作者、清华大学机械工程系智能与生物机械团队助理研究员路益嘉在接受科技日报记者采访时表示。
这个唇语解读系统是否会运用大数据、人工智能等技术,突破的技术瓶颈是什么?路益嘉答道,“实现对唇动信号的识别需要用到人工智能技术和机器学习算法。在实际测试中发现,由于不同人的面部骨骼肌肉、肌肉运动形式、肌肉动作先后顺序和习惯语速等存在不同,即使是同一个词和同一句话,采集到的信号也有区别,为了得到通用的可以接受的测试准确率,需要采集海量的数据进行模型训练。然而,这样的成本偏高。”
据介绍,研究人员没有采用训练通用模型的技术路线,而是采用训练个性化的小样本量数据模型的方法,即对每个人的每个词(或每句话)分别采集小样本量(相对海量数据而言)的数据进行模型训练,考虑到每人说话的唇动都具有独特的习惯特征,这样训练出的模型缺少通用性但更有针对性,而不考虑通用性的要求降低模型对训练数据量的需求,小样本量也能得到可接受的测试准确率。研究人员使用基于原型学习的空洞循环神经网络,来减少模型对训练样本量的需求。例如,在测试中对20个常用水果名称的唇动信号进行分类训练,每个水果名称的唇动信号选取100个样本,测试准确率达94.5%。
这项研究将在哪些领域应用,发挥作用?“该研究通过自供电传感器采集唇动微动信号,并使用深度学习模型将信号识别为有含义的语音信号或文字信号,比较适合服务失声人群,在日常生活交流中可恢复失声人群的基本语音交流能力,并保留失声前的说话习惯。”路益嘉表示。
此外,其还可应用于个人身份识别。研究人员制作出一个唇动指令开门的应用演示。由于该方法融合特定密码口令的静态特征和个人特殊的唇部动态特征,可以实现双重特征验证,特别是戴口罩不发声说密码的方式可进一步提升系统安全性,适用于安全验证要求较高的场合。
该研究成果还可用于人机交互的研究。研究人员制作出一个唇动信号控制模型车运动方向的应用演示,通过检测唇动发出的方向指令,机器模型车可改变行进方向。这为现有人机交互方案提供了新的可能性。
标签: 新颖唇语解读系统
您可能也感兴趣:
为您推荐
突发利空!120亿大牛股实控人及董秘被查 涉嫌内幕交易
楼市大放松!又有省会城市出手了 多地解除限购、放松限贷
3家国产新冠疫苗商接连获批临床实验!mRNA路线效用凸显 聚焦龙头业绩确定性
排行
精彩推送
- 2022年泰国水果产量将超过540万吨 同比增长13%
- 去小留大,分子筛膜高效分离二氧化碳
- 外媒:中国企业“走出去”步伐越来越加快
- 一到春天 山西婺源的油菜花就忙碌起来
- 银行股息率超6%!买理财真的不如买银行股?
- 今日申购:安达智能
- 4月5日31省本土新增“1383+19089”
- 诺诚健华4月12日科创板首发上会
- 无声胜有声 清华团队推出新颖唇语解读系统
- 突发利空!120亿大牛股实控人及董秘被查 涉嫌内幕交易
- 今日上市:中复神鹰
- A股归来!一则政策彻底引爆,229亿外资提前抄底,什么信号?...
- 中原证券:疫情拖累宏观经济 政策加力稳增长
- 楼市大放松!又有省会城市出手了 多地解除限购、放松限贷
- 推开合规改革试点 最高检会同全国工商联召开会议
- 美股周二收跌科技股跌幅居前 金融股能源股等悉数下跌
- 3家国产新冠疫苗商接连获批临床实验!mRNA路线效用凸显 聚焦...
- 苏常柴A:厚生新能源公司2021年隔膜产量超1亿平方米
- 两部门部署加快抽水蓄能项目建设 产业链需求有望爆发
- 国家发改委摸底研判一季度经济形势
- A股归来 一则政策彻底引爆!两大万亿赛道沸腾 6400亿巨头突然官宣
- 销售火爆!预制菜行业高景气 相关企业快速成长
- 新型储能规模化须过“三关”
- 潍柴唱衰比亚迪做多 新能源车谁会是赢家?
- 攻关前沿技术 “十四五”能源科技创新规划出台
- 中金:房地产板块当前六大关键问题 如何把握地产股投资机会?
- 中国石油化工股份(00386.HK)获花旗增持1.48亿股
- 清明假期全国铁路共发送旅客851万人次
- 高薪金融业卷得更厉害?大型券商首席拼了 要求团队“研报轰...
- 清明假期7541.9万人次出游,有一项数据创新高
- 浅析俄乌冲突对我国新能源装备行业发展的影响
- QFII最新持仓揭秘 北上资金加仓11只低估值绩优的QFII重仓股
- 泰国大米出口商协会:3月份泰国大米出口涨幅明显
- 特斯拉“慌了”?日美汽车巨头宣布:联手干大事!
- 苏州发现新冠病毒新变体?专家表示无需恐慌
- 世界银行下调亚太地区经济增长预期至5%
- 美官员:美国将于6日与七国集团及欧盟宣布对俄新制裁
- 兆科眼科-B(06622.HK)获股东麦少娴增持310.2万股
- 183家公司预告一季度业绩 近九成报喜
- 3月份六成QDII下跌 国泰华宝南方等有基金涨超10%
- 润贝航空扣非净利连降3年营收降2年 扣非加权ROE降8成
- 民生教育(01569.HK)获民生集团有限公司增持295万股
- 3月份51%债基下跌 人保华泰东方等旗下基金领涨
- 农夫山泉被机构评级"跑输大市" 3年分红钟睒睒获142亿
- 维峰电子上市对赌 近4年净利猛增经营现金净额原地走
- 十大券商策略:反弹而非反转!沪指在3100-3400横盘震荡 房地...
- 逾30家百亿元级私募现身近百家公司前十大流通股股东 持有市...
- 美股异动 | 新能源汽车股走低 法拉第未来跌超7%
- 瑞银:大幅下调Spotify(SPOT.US)目标价至185美元 维持“中性”评级
- 美股扩大跌幅,纳指跌逾2%
- 突遭利空?4000亿光伏茅公告:被取消在云南电价优惠 影响有多大?
- 锂矿产能年底翻倍!2000亿锂盐龙头股价回调四成 锂价“冷静...
- 美股异动 | Castle Biosciences(CSTL.US)跌12.46% 公司宣...
- 美股异动 | 部分中概股走高 叮咚买菜涨超34%
- 降低购房门槛!又一省会城市放大招!5天5城放宽购房政策 更...
- 美股异动 | 核电股走强 欧洲将逐步降低对俄罗斯化石燃料依赖
- “木头姐”方舟ETF系列全线下跌 旗舰方舟创新ETF(ARKK.US)跌3.53%
- 中概股进一步走低 贝壳、哔哩哔哩跌超7%
- 美股异动 | 推特(TWTR.US)涨6.26% 将任命马斯克为董事会成员
- 美股异动 | 邮轮概念股走前 嘉年华邮轮涨超6%
- 为了赚派点,券商首席拼了,引发口水仗!
- 超180家公司主动“加作业” 近9成业绩开门红 这一行业表现超预期
- 中概股普跌 贝壳跌超5%
- 突遭利空?4000亿光伏茅公告:被取消在云南电价优惠,影响有...
- 热门中概股快速走低
- 木头姐方舟创新ETF(ARKK.US)买入近2000万美元UiPath(PATH.US)股票。
- 金莱特将于4月8日解禁283.22万股
- 清明节假期各地网络祭扫人数比去年同期增长192%
- 聪明资金一季度重点加仓股来了,杀入周期性板块,连续七周加...
- 金融圈又爆大瓜!固收首席:疯狂工作、疯狂搞派点 研报轰炸...
- 险企“补血”热持续:一季度拟增资发债近400亿元
- 十大机构论市:政策二次集中发力 A股能否V形反转
- 4月5日新闻联播要闻精选
- 日本新增新冠肺炎确诊病例45684例 累计确诊超678万例
- 华西证券:未来A股磨底后震荡上行概率较大
- 聪明资金一季度重点加仓股来了 杀入周期性板块 连续七周加...
- 兰州:二套房首付比例最低三成 结清贷款按首套房贷款政策
- 兰州降低个人购买住房门槛
- 北京:进口非冷链货品入境后无特殊急用原则上应至少存放七天
- 国统股份:预计2021年全年净利润同比下降33%至54%
- 百亿私募最新表态!历史性底部到来 已满仓自购!坚定看好三...
- 通达动力(002576.SZ):控股股东解除质押1650万股
- 珍宝岛(603567.SH):取得药品补充申请批件 大大丰富公司中...
- 年报中的秘密!百亿级爆款基金如何炼成?最高持有户数超过7亿...
- 以岭药业再捐5000万元连花清瘟驰援上海
- 突发利空!百亿上市公司实控人被证监会立案调查,不到一年股...
- 兰州:二套房首付比例最低三成 结清贷款按首套房贷款政策
- 北京朝阳对8个街乡开展重点区域采样 结果均阴性
- 泽连斯基:与普京的会面很可能不会进行 但须同俄罗斯继续谈判
- 纳尔股份(002825.SZ):减持期过半 股东王树明共减持31.32万...
- 百亿私募相聚资本梁辉最新表态:历史性底部到来,已满仓自购
- 蓝思科技:东莞蓝思已解除封锁 实现全面复工复产
- 大股东蹭热点“花式”减持套现,汤姆猫IP生意陷生命周期“魔...
- 国家卫健委:累计报告接种新冠疫苗32.816亿剂次
- 招商蛇口:与长城资产、佳兆业集团签署战略合作协议
- 美联新材:子公司锂电池湿法隔膜项目部分产线试产成功
- 华友钴业:衢州子公司受疫情影响的产线复工复产
- 生猪市场短期预计维持弱势震荡态势
- 世行预计今年东亚和太平洋地区发展中经济体将增长5%
- 不少文化纸厂上周再次发布涨价函