脸书开源可即时模糊VR背景的AI系统DeepFocus

脸书(Facebook)旗下的Oculus VR团队于周三(12/19)开源了DeepFocus框架,它能够提供不同焦距的即时模糊渲染能力,可用来替VR头戴式设备创建更逼真的视觉效果。

举例来说,当用户穿戴着支持DeepFocus的VR头戴设备,在望向近处的对象时,该对象就会立刻变得清晰,而远方的背景对象则会失焦,如同现实生活中的场景。

该失焦模糊能力对于在VR中展现深度及真实感而言非常重要,有些传统的作法也能达到精确的模糊能力,但在面对复杂且丰富的内容时,却无法创造出即时的效果,因为它必须耗费极大的处理资源。

于是Oculus VR团队选择以深度学习来解决该问题,开发了一个端对端的卷积神经网络,能够在眼睛望向场景的不同地方时,即时产生具备精确视网膜模糊的图像,而且由于它只依赖标准的RGB-D颜色与深度的输入,于是它几乎兼容于现有的所有VR游戏及程序,也支持VR研究社群目前所探索的3类头戴式设备,包括变焦显示器、多焦显示器与光场显示器等。

Oculus VR团队表示,DeepFocus除了可仿真产生逼真视觉的精确视网膜模糊之外,也证明了AI能够协助解决在VR中渲染密集视觉效果的难题,还是首个可替VR应用创造即时模糊效果的的系统,可望成为未来显示器系统的基础。