“大家好,我叫于维佳,今天介绍的产品是手语翻译手套。”11月11日下午,柳州工学院信息科学与工程学院(软件学院)副教授于维佳佩戴手语翻译手套,用手语向大众问好时,电子屏幕一端的AI虚拟主播也同步发出手语对应的语音和文字。
佩戴手套的听障群体动动手就能轻松沟通,这背后是什么原理?
于维佳介绍,手语翻译手套的外观与运动手套相似,但里面可大有乾坤。它经过116道缝纫工艺,在不影响手部运动的前提下,将205个精密部件和自研柔性传感器等融入其中,电池充电一次能使用10个小时。当听障人士佩戴该手套用手语表达时,手套会通过蓝牙连接自主研发的App,将动作转化为AI虚拟主播的语音、屏幕文字及手语动画,让沟通更顺畅。目前,这款手语翻译手套已从实验室走向市场,收获了听障群体的好评。
研发初期,要实现这样的功能,难度不言而喻。
于维佳解释,手语是视觉语言,手势动作的个体差异极大。该领域的机器翻译技术的难点,正是要解决个性化动作的通用解读。在实验室阶段,技术人员不断优化算法,力求让手套通过每一个用户手指细微的弯曲动作,实现自主学习、自主进化,以此适应每个人的肌肉记忆与手语习惯。
项目开发过程中,于维佳及其研发团队曾遇到新难题:各地研发团队采集的手语数据主要围绕机器视觉,若要将数据嵌入智能穿戴设备、提升听障人士的使用体验,当时国内却缺乏穿戴数据库。为此,团队联动多地相关部门,耗费几年时间采集大量中国通用手语数据,才搭建起专属数据库。
广东省阳江市95后市民刘女士,是这款手语翻译手套的使用者之一。此前,她因害怕人工耳蜗手术带来的术中风险和术后伤痛,选择了手语翻译手套。使用2年来,她最大的感受是:过去靠手语、打字和身边老人沟通,打字速度慢,遇到老人不识字时更是无法沟通,常常感到懊恼;如今借助手语翻译手套,打手语能实时翻译成文字、转化为语音,与人交流顺畅了很多。
11月10日,参与研发的广西科技大学计算机科学与技术学院(软件学院)副教授邓钧忆介绍,这款手语翻译手套和配套App在设计时,搭载了先进的AI算法、VR技术、智能穿戴技术,能快速高效实现语音、文字、手语的互译互转;自主知识产权为100%,国产化率超90%。目前,手语翻译手套和配套App已涵盖《国家通用手语常用词表》的全部内容,还开发了英语等6国语言系统,支持阿拉伯手语、柬埔寨手语,并可接受俄、法、英、德、日等多国手语定制开发,让信息沟通更便捷。
该成果已斩获第十届中国创新创业大赛广西赛区一等奖、2023年第三届“清华大学国强研究院杯”全球人工智能与机器人双创大赛初创组全国二等奖等多个奖项。
全媒体记者
荀诗媛 报道摄影

