河北工大学生团队研发手语翻译设备助力听障人士交流—— 让他们的手语被“听见”
暑假里,河北工业大学“译音”团队创始人、电气学院学生樊灏泽来到天津市残疾人之家,为那里的听障儿童带去团队自主研发的“译音”手套产品,以及河北工大1000多名大学生为听障儿童手写的爱心明信片。随着听障儿童打出的手语,手套发出了悦耳的声音:“我今天很开心!”
樊灏泽告诉记者,这款特殊的手套,其核心部件是位于腕部、手背部、指部的3种触觉传感器。听障人士佩戴后,手套可根据他们的手部动作翻译手语含义、实时发声,突破了连续手语和自然手语翻译技术壁垒。
为什么要研发这样一款手套?这要从3年前的一次经历说起。2019年8月的一天,樊灏泽订好外卖却始终无法打通配送员的电话,直到看见外卖平台上那句“部分外卖员为听障人士,如需联系,请在线上平台打字交流”,他才明白了其中的缘由。自此,他开始关注听障群体,在了解到听障人士因听力、发声障碍而在生活中存在诸多不便时,他萌生了要帮助他们与世界畅通交流的想法。
说干就干,樊灏泽跟志同道合的小伙伴们组建起“译音”技术团队,将目光聚焦到手语产品的开发上。此后数月,团队实地调研了多所特殊教育学校,详细了解听障人士及志愿者的诉求,将产品重点定位在手语与语音的转换上。
研发起步阶段,团队采用市面上的传感器,完成了一代产品的研发,但发现翻译效果不尽如人意。连日泡在实验室、逐一检测各个技术环节后,他们发现,市面上的传感器性能低且数据采集维度单一,无法做到实时翻译。
在王志华、张哲两名教师的指导下,团队自主研发了二代产品的核心部件——柔性触觉集成传感器。相较传统传感器,柔性触觉传感器翻译精度更高,且具有记忆功能,可翻译因个人习惯不同而形成的自然手语。
在设计集成电路后,团队通过上百次的实验仿真,逐步优化各项指标。终于,他们的手语翻译产品——“译音”手套问世了。
经过多次实验检验,“译音”手套可翻译手语百余条且准确率高达94%。为了检测产品的实际应用情况,团队成员联系天津市聋人学校等特教学校开展试用,产品获得一致好评。
“目前我们的产品已经处于终试阶段,接下来我们想从产品升级和推广上着手,让更多听障人士使用我们的产品,让他们的手语可以被世界‘听见’。”樊灏泽告诉记者,他们的团队已经有了新的目标。