2012 创新杯:将手语翻译成口语的手套

2012 创新杯:将手语翻译成口语的手套

该项目最终赢得了在澳大利亚悉尼举行的微软 Imagine Cup 全球决赛的软件设计类冠军,并因此获得了捧回闪亮银杯的荣誉。这个项目的初衷十分单纯。一群来自乌克兰的学生注意到他们学校的几名运动员患有听力障碍,他们想帮助他们更好地交流。这一愿望最终促成了一副手套的诞生,手套上装满了传感器,可以理解手语手势,并将其翻译成基于文本和音频的语音,准确率高达 90%。而这还只是原型。

在 Team Quadsquad 开发的 Enable Talk 系统中,每只手套都有 11 个弯曲传感器(每根手指两个,手掌一个),还有两个加速计、一个陀螺仪、一个指南针和一个蓝牙模块,蓝牙模块可将手套在用户打手势时收集的所有数据传输到移动设备。“我们把原型交给了(我们学校的运动员们),”团队成员马克西姆·奥斯卡说。“一开始,我们认为只有手指就够了,但他们说他们想要更广泛的手势。”因此,团队添加了所有额外的功能,让手套不仅可以识别通过弯曲手指形成的字母,还可以识别由更多手势组成的单词和句子。

在 Quadsquad 团队向 Imagine Cup 评委做最后陈述时,一名戴着手套的成员打出“很高兴见到你”的手势,一部使用 Microsoft Speech API 的手机快速地大声重复了一遍。观众中传来了一声“哦”。Enable Talk 系统是用户自学的,因此可以根据不同国家的手语和个人手势习惯进行定制。在 Imagine Cup 中,Quadsquad 团队使用系统的神经网络将美国手语翻译成英语,但用户可以教它任何他们想要的手势,并让它们与 Microsoft Speech API 支持的任何语言相对应。因此,从理论上讲,你甚至可以编造自己的手语。显然,教会系统你可能想说的每一个词会花太长时间,所以最终团队希望为用户提供一套可下载的不同手语的标准手势包,供用户开始使用。手套的电池寿命为 8 小时,但可以通过背面的太阳能电池板充电延长电池寿命。

传感器获取的细节水平确实令人印象深刻。在演示过程中,满屏的图表(如上图所示)向评委和观众展示了当戴着手套的团队成员挥动、转动双手和弯曲手指时,每个传感器的读数。如果他只弯曲小指,那么只有小指会显示读数。其他传感器保持静止。在整个演示过程中,系统从未出现过故障,只会说“我们喜欢 Imagine Cup”和“我们想看袋鼠”之类的话。不过,Team Quadsquad 并不满足于 90% 的准确率。“我们当然要争取 99.9% 的准确率,”Osika 说道。赢得 Imagine Cup 可能会给他们实现目标所需的动力。

<<:  任何人都可以弹奏的无弦吉他模拟器

>>:  制作自己的遥控间谍飞艇

推荐阅读

拯救世界上最重鹦鹉的下一个前沿:基因组测序

新西兰稀奇古怪、濒临灭绝的鸮鹦鹉近 40 年来首次开始返回该国大陆。鸮鹦鹉是世界上最重的鹦鹉,有些重...

《心是哈利路亚》:彻底解析《大家的歌》的感动与魅力

《心是哈利路亚》:NHK动画短片传递情感治愈1998年6月在NHK教育电视台(现NHK E-Tele...

拥有最多行星的太阳系现在是……HD 10180

冥王星的陨落令人惋惜。如今,天文学界已将这颗曾经距离太阳最远的行星降级为非行星(技术上它现在被称为原...

《魔法彩绘》评论:《大家的歌》的魅力究竟是什么?

NHK 的杰作《魔法颜料》激发儿童的想象力1995年10月在NHK教育电视台(现NHK E-Tel...

东西海岸广播电台

也许你第一次收听这个电台是在开车经过缅因州班戈市郊外的龙虾卷小店时。你知道音乐不是来自几英里外的当地...

一艘货船的“WindWing”风帆每天可节省多达 12 吨燃料

去年 8 月,一艘运输船从中国驶往巴西,船上进行了一些新的改进——甲板顶部加装了一对 123 英尺高...

电子邮件如何改变世界

2016 年 3 月 5 日星期六,计算机程序员雷·汤姆林森 (Ray Tomlinson) 去世。...

恶魔岛王子:三眼怪——深入回顾引人入胜的故事和人物

《恶魔岛的三眼王子》:一部仅播出一晚的电视动画,描绘了手冢治虫的幻想世界《三眼仔:恶魔岛的王子》于 ...

《Miitsuketa》的魅力与评价:不容错过的动漫世界

“我找到了”——一个难忘夜晚的故事《Miitsuketa》于1993年8月26日作为电视动画系列播出...

2020 年最佳太空故事

2020 年是艰难的一年,没有办法粉饰。尽管地球上停滞不前、动荡不安,但一些研究人员和组织仍密切关注...

喜欢猫或喜欢狗说明你是个什么样的人

这篇文章已更新。它最初于 2020 年 10 月 7 日发布。 ~您是否曾希望能够窥视猫、狗、石龙子...

“小日历”:回顾NHK“大家的歌”中的精彩歌曲

《小日历》:NHK历史短片动画的魅力《小日历》是 1965 年 10 月在 NHK 教育电视台(现为...

户外运动者应掌握的五种地图和指南针技能

这个故事最初出现在fieldandstream.com上。您可能还记得,在电影《加勒比海盗》中,约翰...

科学家可能已经弄清楚了大象为何表现出复杂的情绪

野生大象可能是下一个加入表现出自我驯化迹象的物种名单的动物。4 月 3 日发表在《美国国家科学院院刊...

Google Fit 和 Apple Health 新手指南

大量健康追踪器承诺帮助您保持健康,但在浏览之前,请先查看手机内置的应用程序。Google Fit 和...