手套Talking Hands可以记录手部动作并转换为文字信息


Qualcomm & Pico XR创新应用大赛获奖作品

文章相关引用及参考:映维网

记录手部动作并将其转换为文字

映维网 2018年04月19日)意大利初创公司Limix开发了一种名为Talking Hands的手套,其可以记录手部动作并将其转换为文字,转发至智能手机设备,然后再通过语音合成器进行播放。他们希望以这种方式来弥合大多数聋障人士所面临的通信障碍。

Limix的创始人Francesco Pezzuoli说道:“Talking Hands不仅可以翻译每一个字母,而且它的可定制程度非常高:用户可以记录他/她的手语,然后Talking Hands就会翻译它们。这是一种可穿戴设备,不需要任何外部摄像头或计算机,因此用户随时随地都可以使用它。”

该项目始于一年前,当时是作为Limix,意大利国家聋人协会(ENS),以及专门教导聋哑学生的意大利公立高中I.S.I.S.S. Magarotto之间的合作产物。然而,人们告诉Pezzuoli和另一位联合创始人Dario Corona说这一概念不会成功,因为设备无法测量细微的手指动作。但他们坚持不懈,并最终研发出可行的技术。现在,他们正准备在2018年6月推出第一个工业原型。

他们的概念成为了今年The Chivas Venture竞赛的最终入围项目之一,并有机会竞逐100万美元的投资。在今年5月,最终入选者将乘飞机前往阿姆斯特丹参加最终的决赛。届时他们将有五分钟时间向专家评审团推销他们的项目。对于The Chivas Venture的风投,开发团队希望这可以为工业原型的生产和扩展提供资金支持。

Pezzuoli解释说:“主要的问题是,非手语者通常不太了解手语。他们可能甚至没有意识到美国手语(和其他手语,如英国手语和中国手语)是非常不同的语言,其有着自己的语法和措辞,而不是口头语言的单词重述。”

Talking Hands能够绕开这个问题,因为其允许每个用户通过应用程序创建和自定义他们自己的手语,并将其直接链接到智能手机。他们可以创建专用于不同情况的字典,例如在医疗紧急情况下需要与医生沟通的常用词语。

Pezzuoli声称:“从来没有人能够发现和实现像我们这样简单,低成本和有用的解决方案。Talking Hands的首次生产成本约为500欧元,包含一切,因此与市场上的其他手套相比,它的价格相对较低。”

具体操作:

  • 用户将Talking Hands应用下载到移动设备上。
  • 用户将应用的口头语言设置为英语和意大利语等语言,将其作为手语识别的输出语言。
  • 然后,用户可以在穿戴手套时录制手语,然后系统会将其与字母,单词或整个短语相关联。
  • 每当用户重复该手语时,智能手机都会代表用户说出相应的词语。
  • Talking Hands可以翻译世界各地使用的几种不同手语:ASL(美国手语),BSL(英国手语),CSL(中国手语)等等。
  • Talking Hands同时可以与增强现实系统进行交互,从而进行员工培训,与虚拟博物馆和游戏控制器交互。

意大利国立聋人高等教育研究所(National Institute for Higher Education of Deaf People)的Rita Antoniozzi教授解释说:“Talking Hands可以帮助聋哑人摆脱沉默,使他们能够与不懂手语的人进行第一范式的沟通。”她认为,这项技术将能为失聪用户提供支持,使他们能够实现更大程度的独立性和平等性。

但对Pezzuoli而言,平等性的好处在很大程度上是双向的:“我想证明技术可以成为统一和悦人的力量,使人成为中心,这样我们就可以创建并扩大这种关系,纳入残疾人,并与他们的世界和文化融合在一起。”他补充说,残疾人士看待世界的不同方式实际上是一项重要资产,它可以带来创造性思维和创新,因此赋予他们“声音”不仅对聋人社区有好处,其对整个社会都有很大的益处。

原文链接https://yivian.com/news/44228.html
转载须知:转载摘编需注明来源映维网并保留本文链接
英文阅读:点击前往映维网合作伙伴 RoadtoVR 阅读专业英文报道
入行必读:AR/VR,下一个计算机浪潮,下一个三十年科技文明!

更多阅读推荐......

发表评论(仅展示精选评论)

首页