Google开源图片降噪AI项目MultiNeRF

Google本周宣布开源AI视频降噪技术项目MultiNeRF。

Google科学家Jon Barron说明,这次算法是将6月间2022计算机视觉和图形识别(Computer Vision and Pattern Recognition Conference,CVPR)大会公布白皮书的三项图片降噪的AI算法Mip-NeRF 360、Ref-NeRF及RawNeRF,集成为一个repo,并命名为MultiNeRF。

今年6月公布的Mip-NeRF 360、Ref-NeRF及RawNeRF算法,是以NeRF(Neural Radiation Fields)算法做的延伸或强化。一般相信,新推出的AI技术有助于提升Pixel手机的照片或视频拍摄效果。

Barron说明,其中Mip-NeRF 360是Mip-NeRF扩展,支持无边界360场景的图像合成,可渲染出完整的3D物体和场景,使图片可从任意视角观看。RawNeRF则是NeRF针对低光照环境研发的版本,Barron指出,它不只提供多阶段图片降噪,也能创建美丽的浅景深效果,还让用户控制色调映射和曝光。Ref-NeRF则运用曲面法线重参数化不同视角的效果,让NeRF算法更能推论出材质和光源,对于处理具闪耀表面的物体相当有用。

Barron指出,MutiNeRF应该能胜任大部分航空摄影测量任务,如果用户目的是渲染图案的话。不过目前还无法导出网面(mesh)。

根据MultiNeRF项目网页,其程序代码是将Ref-NeRF和RawNeRF的实例集成到Google的Mip-NeRF 360实例,因此应该能重现Mip-NeRF 360的结果,但或许重现Ref-NeRF和RawNeRF结果时可能会有些许不同。

MultiNeRF项目网页提供了白皮书、训练、评估、测试及渲染等工具和范例。这个实例以JAX撰写成,是由Mip-NeRF分叉。

Google研究小组虽邀请大家试用,但也警告这是研究中的程序代码,应小心使用,也未获得Google产品正式支持。

一名用户用过后指出,新发布的MultiNeRF包含一些不错的相机程序,用以处理大型场景效果不错,他自己也分享了视频成果。