专题栏目:ARVRMR虚拟现实

VR头盔内建手部追踪实现手语教学

瑞士伯恩应用科技大学计算机感知与虚拟实境(Computer Perception and VR)研究团队CpvrLab,运用Oculus Quest VR头盔内建的手部追踪功能,开发出识别与教授23个德国手语交谈字母手势的Quest App。

虚拟实境(VR)环境主要依赖口语与肢体沟通方式而非文字,因此聋人在VRChat等沉浸式社群平台需要沟通时经常遭遇许多障碍,虽然简化版手语沟通在VR环境使用已有一段时间,但对聋人而言仍不够方便。此外现有的VR控制器对手语的支援还相当有限与笨拙,非常需要能在VR环境中完整识别原生手语手势的工具。

使用者戴上Oculus Quest VR头盔即可使用Quest App,在VR环境中学习23个德国手语交谈字母的手势,使用者模仿比划出来的每一个手语手势都会在VR环境中以3D的方式呈现,并由App实时分析与识别,再跟内建的手势模型比对检查是否正确无误,因此技术上而言只要扩充手势模型,就有机会支援任何种类手语手势的识别与比对。

目前尚无App能在虚拟实境(VR)环境中完整教导使用者学习手语,但运用VR训练手语字母手势的App,已证实现有技术具有实现目标的潜力,虽然只有基本功能且局限于德国手语交谈应用,但已计划尽快将其App以开源方式释出,以利第三方将不同种类的手语手势新增到手势模型,或强化手势识别与比对的能力。

VRChat的使用者指出,由于现有的VR控制器无法提供完整手指追踪功能,因此正确识别手语非常困难。虽然简化版的新手势让聋人在VR环境中达到某种程度的沟通,但最终仍应发展能让聋人在VR环境中,以完整的原生手语沟通的工具。此外地区与语言的不同,也让所使用的手语形成差异,因此需要有更准确的输入方法,以免问题更加复杂化。

Quest体验、游戏、工具的非官方程序库SideQuest已免费提供Quest App,有兴趣体验者可透过SideQuest将App侧载Oculus Quest VR头盔。虽然Oculus Quest VR头盔内建的光学手部追踪功能并非完美,不过确实为解决聋人在VR环境使用原生手语的问题带来一线曙光。

来源: DIGITIMES陈明阳

发表评论

相关文章