2012 创新杯:将手语翻译成口语的手套

2012 创新杯:将手语翻译成口语的手套

该项目最终赢得了在澳大利亚悉尼举行的微软 Imagine Cup 全球决赛的软件设计类冠军,并因此获得了捧回闪亮银杯的荣誉。这个项目的初衷十分单纯。一群来自乌克兰的学生注意到他们学校的几名运动员患有听力障碍,他们想帮助他们更好地交流。这一愿望最终促成了一副手套的诞生,手套上装满了传感器,可以理解手语手势,并将其翻译成基于文本和音频的语音,准确率高达 90%。而这还只是原型。

在 Team Quadsquad 开发的 Enable Talk 系统中,每只手套都有 11 个弯曲传感器(每根手指两个,手掌一个),还有两个加速计、一个陀螺仪、一个指南针和一个蓝牙模块,蓝牙模块可将手套在用户打手势时收集的所有数据传输到移动设备。“我们把原型交给了(我们学校的运动员们),”团队成员马克西姆·奥斯卡说。“一开始,我们认为只有手指就够了,但他们说他们想要更广泛的手势。”因此,团队添加了所有额外的功能,让手套不仅可以识别通过弯曲手指形成的字母,还可以识别由更多手势组成的单词和句子。

在 Quadsquad 团队向 Imagine Cup 评委做最后陈述时,一名戴着手套的成员打出“很高兴见到你”的手势,一部使用 Microsoft Speech API 的手机快速地大声重复了一遍。观众中传来了一声“哦”。Enable Talk 系统是用户自学的,因此可以根据不同国家的手语和个人手势习惯进行定制。在 Imagine Cup 中,Quadsquad 团队使用系统的神经网络将美国手语翻译成英语,但用户可以教它任何他们想要的手势,并让它们与 Microsoft Speech API 支持的任何语言相对应。因此,从理论上讲,你甚至可以编造自己的手语。显然,教会系统你可能想说的每一个词会花太长时间,所以最终团队希望为用户提供一套可下载的不同手语的标准手势包,供用户开始使用。手套的电池寿命为 8 小时,但可以通过背面的太阳能电池板充电延长电池寿命。

传感器获取的细节水平确实令人印象深刻。在演示过程中,满屏的图表(如上图所示)向评委和观众展示了当戴着手套的团队成员挥动、转动双手和弯曲手指时,每个传感器的读数。如果他只弯曲小指,那么只有小指会显示读数。其他传感器保持静止。在整个演示过程中,系统从未出现过故障,只会说“我们喜欢 Imagine Cup”和“我们想看袋鼠”之类的话。不过,Team Quadsquad 并不满足于 90% 的准确率。“我们当然要争取 99.9% 的准确率,”Osika 说道。赢得 Imagine Cup 可能会给他们实现目标所需的动力。

<<:  任何人都可以弹奏的无弦吉他模拟器

>>:  制作自己的遥控间谍飞艇

推荐阅读

莫贾科的魅力与声誉:深入了解其独特之处

《莫贾科》:太空冒险与友谊的故事《Mojako》是一部电视动画系列,改编自藤子·F·不二雄的原著漫画...

从艺术到生产力,这款售价 59.99 美元的 Apple Pencil 可帮助您提高工作流程

随着数字技术越来越多地占据我们的日常互动,我们的日常交易比以往任何时候都更加高效。然而,有时我们仍然...

成为 Google Cloud 开发者并简化您的业务运营

成为 Google Cloud 工程师有助于提高您在竞争激烈的云就业市场中的收入潜力。现在,您只需 ...

人们为什么讨厌自己的声音?

如果你曾经在录音中听到自己的声音,并且非常讨厌它,那么你并不孤单。这背后的生理原因相对简单:当空气从...

档案中的讨论:关于广岛和长崎爆炸事件的辩论

1945 年 8 月 6 日,美国 B-29 超级堡垒轰炸机埃诺拉·盖伊在日本广岛投下了小男孩原子...

最佳电子阅读器奖实际上是平局

本文已更新。最初于 2020 年 4 月 25 日发布。电子书阅读器是未来的最明显标志之一——在口袋...

像活泼的青少年一样,原子也会回应

如果你对人造原子说话,原子会回复你。但不幸的是,你听不到。瑞典查尔姆斯理工大学的研究人员在实验室中与...

这只恐龙因远古鳄鱼的袭击而变成了木乃伊

如果狼蛛星云和骷髅星系还不足以在万圣节营造出恐怖氛围,那么科学家们正在对恐龙木乃伊进行更多研究。大约...

彻底评论《歌之☆王子殿下》♪ Maji LOVE Starlish Tours ~旅程的开始~!

『唱歌王子♪ Maji LOVE Starlish Tours ~旅程的开始~』的魅力与评价概述《...

工作原理:最强大的太空火箭

今年晚些时候,SpaceX 公司将猎鹰重型火箭发射升空,届时该火箭将成为世界上最强大的火箭。只有美国...

《声优特别版》的魅力与评价:深入声优世界的一本书

《这就是声优特别版》:描绘声优的梦想与现实的动人OVA 《我是声优特别篇》是King Records...

“Onegai Patron-sama!”的号召和评价- 粉丝必读的评论

“Onegai Patron-sama!”的号召和评价“Onegai Patron 大人!”是一部以...

充分利用三星 Galaxy S25 智能手机的 11 个技巧

三星发布了 2025 年旗舰 Galaxy S25 手机系列,它有很多优点:令人惊叹的屏幕、强大的相...

如何在 iPad 上分屏并实现多任务处理

在 iPad 上分屏可以真正提高你的工作效率。该功能正式称为 Split View,适用于所有运行 ...