专题栏目:ARVRMR虚拟现实

康奈尔研发的手套不仅识别手势,还识别触觉

近年来,在Oculus Quest系列一体机的推动下,VR以更加“平易近人”的姿态切入C端游戏市场,同时也让更多VR玩家体验到用手势来交互的方式。Quest和Quest 2利用头显配备的4颗光学摄像头和算法来识别手势,优势是低成本、性能足够稳定、容易上手。

尽管如此,基于传感器的手势追踪手套在准确性和灵敏性依然比光学识别方案更优秀,目前市面上已有包括BeBop、Manus等多种手势手套方案,此前Facebook Reality Labs也曾展示过一项基于光线追踪原理的手势追踪手套,看起来精准性比无手套方案更好,可以用于模拟键盘打字。

当然,现有方案几乎很少用于C端,因为成本较高、体积外形较笨重,所以应用场景以B端为主。

近期,康奈尔大学科研人员研发了一种柔性手势识别手套,特点是成本足够低,而且不仅可以识别手势,还能识别手指动作的力度、弯曲度和拉力,也就是说可以实现更加精准的手势模拟。

据青亭网了解,该手套方案由康奈尔大学工程学、院副教授Rob Shepherd带领的科研团队研发,原理是结合光导纤维传感器、低成本LED和吸光染料来追踪3D的手势变化。利用上述材料开发的手套体积足够小、材质足够灵活柔软,同时制作工艺较简单、可集成开发为设计轻便的手套产品。目前,科研人员计划将该方案于明年商业化,应用于运动医学、物理治疗、AR/VR等场景。

那么这款手势识别手套方案具体是怎样操作的?和其他方案有何不同?接下来就一起来了解一下。

据悉,Shepherd此前负责的有机机器人实验室曾研发出多种柔性传感器技术,其中一项的原理利用光电二极管识别光束通过光波导材质时强度的变化,来判断光波导材料的变形程度。科研人员将这项技术用于提升柔性机器人的感知,还将方案中的传感器与硅基材质结合,用于识别湿度、温度和拉力。

不过,硅纤维材质并不兼容可延展的柔性电子元件,而且由于柔性材质变形的规律复杂,可能同时融合多种模式的变形,因此康奈尔科研人员研发了一种能够分离不同变形模式的传感器。

具体来讲,科研人员研发了一种支持多模式传感的柔性光导方案(SLIMS),即:一个包含双弹性聚氨酯内核的长管,其中一个内核保持透明,另一个内核的不同位置注入吸光染料,并与LED灯相连。同时,与双内核集成的RGB传感器芯片用于记录光束通过产生的几何变化。

通过观察光束通过染料,这种双内核方案提升了传感器可识别到的变形数据(包括压力、弯曲、延长等)。也就是说,被LED灯照亮的吸光染料可作为一种可追踪的空间编码。接着,科研人员开发了一种可通过识别到的数据区分不同变形动作的数学模型,来推断手指的确切位置,以及弯曲的力度。

除此之外,相比于此前的分布式光导纤维传感器,SLIMS传感器可搭配分辨率较小的小型光电元件运行,从而降低成本、更容易制造、体积更小。

应用场景方面,该方案与柔性机器手集成后,可识别抓取物体时产生的滑动。另外,也可以集成于穿戴式AR/VR手套,科研人员利用3D打印技术只做了一款基于SLIMS传感器的原型手套,采用集成式一体设计,配备锂电池和蓝牙模块,可无线控制一些基础软件。据称,手套识别手势的速度几乎实时。

总之,作为一款低成本手势识别方案,康奈尔大学的手套原型可以做到市面上一些视觉手势方案不具备的效果,比如识别触觉交互、力度等等。

Shepherd表示:目前,手势识别技术以视觉方案为主,但大多数几乎不会去识别触觉,而我们研发的手套方案同样基于RGB光学原理,不止能识别手势,还能识别触觉反馈。

未来,这项技术有望应用于物理治疗、运动医学、AR/VR领域。尤其是在AR/VR应用场景,它可以识别手与虚拟物体的触觉和力反馈,模拟更逼真的物理交互。举个例子,在AR修车或换轮胎培训中,准确模拟动作力度和物理效果相当重要,这样学员才能在虚拟环境中感受拧螺母所需的力度,增强肌肉记忆。

来源:青亭网

发表评论

相关文章