专题栏目:ARVRMR虚拟现实

Facebook采用复杂面部追踪系统,基于AI用更轻量化达更高标准

对于Facebook Codec Avatars虚拟化身和面部追踪的研究,在这项的研究中,Facebook选择了一个比较复杂的面部追踪技术,从而在VR中呈现出一个惟妙惟肖的虚拟化身,其不论是在面部表情上,还是眼神动作、肢体动作上,都是表现出了较为自然、逼真的效果。

然而,最开始版本(2018年开始研究)需要132个相机去进行专业化的捕捉,显然这是一个方案的定型,通过现有技术方案实现一个高的标准。但是这项设备所实现的效果,也会对用户体验降低。

Facebook,于去年的时候就公布了三摄新方案,通过内置两个摄像头和一个鼻梁下方捕捉嘴部的摄像头,这样看起来,已经是很完美了。

经常了解Facebook或FRL的朋友可能是知道,Facebook,于近两年的时间,尤其是人工智能算法上的投入可谓是大幅度的增加了,其算法的加入也是主要解决硬件和算力不足的等等问题。

最近,Facebook公布了新一版Codec Avatars的研究,该技术是基于AI技术,在用更加轻量化的方案下,从而达到更加高标准的效果。其中,光学捕捉方面几乎双眼的眼球追踪,而嘴部动作则基于麦克风拾取的人声,也就是双摄+麦克风+AI技术。

对于眼球追踪的用途,它可以准确识别眼球动作从而模拟更真实的眼神和注视效果,而通过麦克风识别你的说话语音来模拟嘴部和面部动作,不过,你可能会质疑它的效果。

上面就是最终效果。研究人员表示,可能通过音频的数据来还原其微妙的面部动作。比如,舔嘴唇等动作都可以模拟。然而需要特别注意的是,实现这个效果那么需要比较高品质的麦克风。

发表评论

相关文章