Imagiantion神经网络加速器与Visidon图像降噪算法的完美结合

周二, 14 九月 2021 - 13:49

作者：Tim Atherton

本文由总部设在芬兰的Visidon和总部设在英国的Imagination公司合作撰写。Visidon是业界公认的相机图像增强和分析算法方面的专家，Imagination拥有一系列世界领先的神经网络加速器（NNA），性能高达100 TOPS。

本篇博文中的解决的问题是对传统彩色相机的图像进行降噪处理。解决方案分为两个部分：

<ul><li>在不损坏图像细节的情况下降低噪声的算法。</li>
<li>一个高性能卷积引擎，能够运行训练的神经网络，将彩色图像作为输入并输出降噪后的彩色图像。</li></ul>

<center><img src="http://imgtec.eetrend.com/files/2021-09/wen_zhang_/100553648-220341-vis…; alt="Visidon深度神经网络的示例"></center><center>Visidon深度神经网络的示例</center>

图像降噪的过程由来已久。现代CMOS成像仪的工作方式可以看作是光子计数器阵列。光子以平均速率到达传感器：在波动相对较大的黑暗区域较少，但在波动相对较小的较亮区域较多，即信噪声比更好。波动是由于光的物理性质而产生的噪声（具有泊松统计），通常无法避免。然而，我们可以通过进一步处理来降低噪声。关键是在不损害图片内容前提下执行此操作。

多年来，人们提出了许多解决办法。这些方法包括简单地稍微模糊图片，使用双边滤波器的复杂方法，基于流行理论的Beltrami滤波器，尺度空间卡尔曼滤波器等。

关于降噪的有趣之处在于:首先，对我们而言，噪声在图像的平坦区域最明显，而噪音在边缘附近不太明显。然而，许多降噪算法最有可能使边缘模糊或以其他方式受损。损坏的边缘信息在感知上和噪声一样糟糕！

Visidon创建了一个卷积神经网络模型（相邻），该模型能够精确实现所需的目标——去除噪声，同时保留彩色图像中的边缘信息。

Imagination的4系列多核NNA在执行Visidon的降噪网络时提供了高性能计算解决方案，同时，在低功耗和小面积方面，提供最优的选择。

图1中显示了一组示例结果。本研究中使用的所有图像分辨率均为4096X3072。此图像在黑暗的夜间背景上有明亮的白色和蓝色灯光：原始数据如图1a所示，每个像素X100的RMS误差如图1b所示。误差由浮点网络结果和16位量化网络输出结果比较得到。

图1（下图）显示了一个特别困难的图像——然而，任何8 位颜色通道的最大误差是+/-1。我们还显示了（图1c）原始噪声图像的裁剪，d）浮点网络的输出，e）量化网络，f）Visidon的浮点网络结果。没有颜色失真，噪音被有效消除，边缘信息保持完好。

在我们看到的十个示例图像中，所有结果都遵循类似的模式。在图2 中显示的日光场景中，没有任何像素的颜色通道误差超过+/-1。此图像中的噪声不太明显，但我们选择了裁剪来证明，降噪不会在任何颜色的边缘产生伪影。

<center><img width="600" src="http://imgtec.eetrend.com/files/2021-09/wen_zhang_/100553648-220343-3.p…; alt="没有边缘或颜色失真的日光场景"></center><center>图2. 没有边缘或颜色失真的日光场景</center>

在下一幅图（图 3）中，我们展示了一个明亮的测试图表。同样，没有大于+/- 1的误差，详细的裁剪显示没有边缘伪影，这是Visidon算法的一个特征。

<center><img width="600" src="http://imgtec.eetrend.com/files/2021-09/wen_zhang_/100553648-220344-4.p…; alt="Visidon结果：明亮的测试图表"></center><center>图3. Visidon结果：明亮的测试图表。</center>

最终图像结果（图4）显示了在弱光下拍摄的测试图——另一幅非常困难的图像。这里，我们清楚地看到噪声（泊松统计数据的信噪比随着平均水平的降低而变差）。在原始图像（图6c）的细节中，在较亮和较暗的区域中，严重的彩色噪声都很明显。这是单独的红色、绿色和蓝色通道的不相关的波动导致颜色随机变化的结果（三维近似Rician统计）。Visidon 的降噪算法可消除亮度和色度中的噪声，同时保留边缘。值得注意的是，来自浮点网络的结果与来自网络的16位量化结果之间没有明显的差异，并且在任何像素和任何颜色通道上，这两个结果之间的最大差异为+/-1。

<center><img width="600" src="http://imgtec.eetrend.com/files/2021-09/wen_zhang_/100553648-220345-5.p…; alt="Visidon结果：弱光测试图"></center><center>图4. Visidon结果：弱光测试图。</center>

IMG Series4 多核

图5中的 IMG4NX-MC8具有先进的体系结构，并具有一系列多核版。4NX-MC1 单核性能高达 12.5 TOPS（1TOPS=每秒 100 万次操作）。

Imagination 4NX-MC1、4NX-MC4和4NX-MC6的性能如下表1所示。

表1的性能结果使用Imagination的标准工具链生成。

结论

综上所述，这是一个非常有趣的深度卷积神经网络示例，它从输入的图像生成输出的图像。

图像质量方面的性能非常出色，因为在处理高质量图像时，降噪是一个难题。结果的保真度反映了Visidon算法的质量，特别是他们对网络架构的选择和训练方式。它还非常清楚地表明，量化网络（在本例中为16位）可以给出与浮点网络几乎相同的结果。

值得一提的是，我们确实研究了较低的位深度。大多数神经网络中的错误在8 位执行时会略有增加。根据应用程序的不同，误差的微小增加可能是可以接受的。在高质量图像增强的背景下，一个非常小的误差对人类观察者是可见的。8位数据（激活）会在图像平坦区域显示带状，8位权重会显示颜色失真。

使用16位数据和16位权重运行网络时，不会留下任何可见的伪影，并且输出图像中任何像素和颜色的误差为+/-1。

通过Visidon的去噪网络，Imagination的NNA 性能证明了其超越传统人工智能应用的能力及其对图像增强的适用性。

这篇文章是由Imagination的人工智能研究总监Tim Atherton撰写，由Imagination IMG实验室的研究经理James Imber协助。

原文链接：https://www.imaginationtech.com/blog/imaginations-neural-network-accele…
声明：本文为原创文章，转载需注明作者、出处及原文链接。