降噪是一种先进的技术,可以用来减少图像中的颗粒和变色,最大程度地避免图像质量的下降。
用数码相机拍过照片的人都应该熟悉“噪点”,这是一种会降低照片清晰度和锐度的变色斑点。
很多摄影师都有降低图像噪点的技巧和窍门,比如校正相机镜头设置或者在不同光线下拍摄。事实上,不仅拍摄的图像会因噪声而出现混色,噪声的影响在计算机图形学中也是非常普遍的。
噪声是指不属于原始图像的随机亮度和颜色变化。“去除图像中的噪声”的过程称为“降噪”,在图像处理和计算机视觉领域越来越普遍。
图像去噪技术可以利用先进的算法去除图形和渲染中会对图像质量产生很大影响的噪声。没有降噪技术,就无法实现逼真的视觉效果和身临其境的渲染效果。
什么是降噪?
在计算机图形学中,图像由有用的信息和会降低清晰度的噪声组成。理想的去噪结果是生成只有有用信息的清晰图像。在对图像进行去噪时,保留视觉细节和成分(如边缘、拐角、纹理和其他具有明显结构的特征)同样重要。
为了在不影响视觉细节的情况下降低噪声,必须对图像中的三种信号进行降噪处理:
漫反射:向各个方向反射的散射照明。
高光或反射:特定方向的照明
无限光源产生的阴影:太阳或任何其他无限光源的能见度信息(阴影)。
为了创建最清晰的图像,用户必须在漫反射和高亮信号的方向上投射数千条光线。然而,在实时光线跟踪中,通常平均每个像素只使用一条光线。
在实时光线跟踪中,使用的光线数量越少,就越能保持较好的实时交互性能,因此降噪至关重要。
一种噪声图像,其中每个像素都与一种光线相匹配。
如何降低噪音?
图像去噪通常基于三种技术:空间滤波、时间累积以及机器学习和深度学习重建。
示例:空间和时间降噪后的最终图像。
空间滤波是通过重用相似的相邻像素,有选择地改变图像的某些部分。空间滤波的优点是不会产生时滞,所以可以即时响应变化的流量条件。但空间滤波会产生模糊、浑浊和时间不稳定,造成图像的闪烁和视觉缺陷。
时间累积将重新使用前一帧的数据来确定当前帧中是否存在可校正的伪像或视觉异常。时间积累虽然会造成时间滞后,但不会产生歧义。相反,它增加了时间稳定性,以减少多帧闪烁和伪像。
例如:20帧时间累积。
机器学习和深度学习重构使用神经网络来重构信号。通过使用各种噪声和参考信号来训练神经网络。虽然单帧的重建信号看起来很完整,但是随着时间的推移会逐渐暂时失去稳定性,所以需要采用时间稳定的形式进行降噪。
图像降噪
降噪可以为用户提供即时的视觉反馈,因此用户可以查看图形和设计并与之交互,从而用户可以尝试光线、材料、视角和阴影等各种变量。
通过使用NVIDIA实时降噪器(NRD)等解决方案,开发人员可以轻松地将降噪技术集成到流程中。NRD是一个独立于API的时空去噪库,主要用于处理低每像素光线数信号。
开发人员可以使用NRD在每像素有限的光线下实现实时效果。开发人员可以了解更多有关NRD如何实时解决图像噪声问题的信息。
热门游戏如2(死亡之光2)和杀手3 III都使用实时降噪器(NRD)来降低噪音。
NRD在Techland的“死亡之光2保持人性”中取得了优异的成绩。
NRD支持漫反射、高光和阴影信号的降噪。NRD包含以下降噪装置:
ReBLUR:一种基于自稳定循环模糊概念的降噪器,专门用于处理低光照预算下生成的漫反射和镜面反射信号。
SIGMA:快速阴影降噪器,支持任何类型光源(如太阳光、本地光源)的阴影。
放松:保留英伟达RTX直接照明生成的照明细节。该框架可以让开发人员实时渲染具有数百万个动态区域光的场景。ReLAX还可以提高时间稳定性,并持续响应不断变化的照明条件。
原标题:什么是降噪?
文章来源:【微信微信官方账号:英伟达企业解决方案】欢迎添加关注!请注明文章出处。