专题栏目:ARVRMR虚拟现实

结合CV与机器学习,AR滤镜Scan Band可将身边物体变成乐器

将舞蹈、节奏游戏、乐器、AR等多种元素结合可以怎么玩?近期,智能乐器品牌Artiphon就推出了这样一款Snapchat AR滤镜:Scan Band。据悉,该滤镜基于Snap Scan视觉识别技术,以及AudioML技术(可接入自己培训的机器学习模型),可创作出结合声音、视觉、互动的AR视频,通过具有互动性的趣味AR,为舞蹈、健身、美食等内容带来更生动的效果。

Artiphon创始人兼CEO Mike Butera博士表示:过去几年里,我们一直在秘密开发AR音乐技术,现在通过Scan Band,终于将成果正式发布。

据青亭网了解,Scan Band顾名思义,结合了Scan和Band两种玩法,首先它通过Snapchat的视觉识别功能Scan来扫描环境中的物体,然后将识别到的物体转化成“折纸风格”的3D模型,接着在3D模型上加入各种乐器的音效,当你用手触碰或轻拍3D模型时,可模拟演奏乐器的效果。

细节方面,Scan Band可识别的物体包括飞机、宠物、食物等等,它可模拟的声音效果则包括吉他、合成器、鼓、音符等等。也就是说,你可以将AR气球当合成器来使用,将AR橙子当吉他来演奏,或是在地上放置可模拟鼓声的香蕉、一系列音符等等。总之,Scan Band主要是用于创作有创意的音乐视频,你可以制作结合舞蹈动作、搞笑动作等元素的视频。

来源:青亭网

发表评论

相关文章