Real-ESRGAN - 不知名站点

## 一、介绍

超分辨率(Super-Resolution)指通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程。通俗的说就是在保持原图像清晰度不变的前提下，将图像放大。使用深度学习模型进行超分已经是比较常用的手段，而且深度学习模型又一个好处，可以在数据增强的时候对数据进行退化处理，在超分的时候也可以做去模糊、去噪、去划痕等操作。

深度学习超分模型有几个里程碑：SRCNN > SRGAN > ESRGAN > Real-ESRGAN，SRCNN 和SRGAN 有些古老了，现在基本用不上， Real-ESRGAN是在ESRGAN的基础上做的升级，于是我们主要介绍Real-ESRGAN，用ESRGAN作为补充。

ESRGAN 论文地址：http://arxiv.org/abs/1609.04802

Real-ESRGAN论文地址：  https://arxiv.org/abs/2107.10833v2

代码地址：GitHub - oaifaye/dcm-denoise-SR

## ESRGAN 
（1）提出新的backbone：RRDB(Residual in Residual Dense Block)。这里的Dense指的不是全连接而是卷积层中有着密集的残差链接，这样做的好处是可以获得更深入、更复杂的结构，网络容量也变得更高。

（2）删除BN层。作者发现，BN 层在网络比较深，而且在 GAN 框架下进行训练的时候，更会产生伪影降低了训练的稳定性和一致性。此外，去掉 BN 层也能提高模型的泛化能力，减少计算复杂度和内存占用。

（3）网络插值（Network Interpolation），或者叫残差缩放。即将残差信息乘以一个 0 到 1 之间的数（通过实验最终确定0.2），这样可以使训练更稳定，在保持纹理的同时的减少伪影。

（4）使用相对论RaGAN改进了判别器，它学习判断“一幅图像是否比另一幅图像更真实”，而不是“一幅图像是真实的还是假的”。论文给出的图很形象了。backbone用的VGG，这一点在Real-ESRGAN中被替换。
![](http://blog.lifs.top/usr/uploads/2025/01/2262383422.png)

2.Real-ESRGAN
Real-ESRGAN的优化是在ESRGAN的基础上做的，主要内容如下：

（1）给出了一个数据高阶退化过程。即拼接几个典型退化过程来建模（其中还包括sinc filter），从而获得更加接近现实的低质图像。最终作者采用了一个二阶退化过程，以求在简单性和有效性之间取得良好的平衡。这很重要，我们后面重点介绍。

（2）判别器用U-Net代替VGG。Real-ESRGAN中的鉴别器对复杂的训练输出需要更大的鉴别能力，它还需要为局部纹理产生精确的梯度反馈，而不是只区分全局样式。因此使用更加强大的U-Net作为判别器。输出每个像素的真实度值，并可以向生成器提供详细的每像素反馈，增强了图像对细节上的对抗学习。判别器我们下面也会重点介绍。

（3）引入谱归一化(Spectral Normalization)以稳定由于复杂数据集和U-Net判别器带来的训练不稳定情况。

## 三、生成器结构
 我们以batch_size=1，输入64x64的4x超分为例，生成器整体结构如下：
 ![](http://blog.lifs.top/usr/uploads/2025/01/3896513878.png)

可以看到整体模型结构并不复杂，大体是一个序贯的结构，数据经过了23个RRDB模块，每个RDDB块由3个ResidualDenseBlock组成，输入和输出形状一样；然后进行两次Unsample，Unsample采用nearest插值，每次Unsample之后会有卷积层来细化插值细节；最后通道数变成3输出。

其实生成器的大体机构和SRGAN是一致的，但是**将Unsample前的16个残差块换成了23个RRDB模块，这极大的提升了特征提取能力**，这也是为什么SRGAN能很好的还原图片细节的原因。**每个RDDB块由3个ResidualDenseBlock组成，在底部做Add之前，使用了前面提到的网络插值，即输出乘以0.2再和输出相加，这提高了训练的稳定性。**

四、判别器结构
判别器使用带有谱归一化的U-Net，结构如下：
![](http://blog.lifs.top/usr/uploads/2025/01/1911809433.png)

判别器分三部分：

**Downsample**：三层带有谱归一化的卷积层，每层通道翻倍，宽高减半。

**Unsample**：使用nearest插值做上采样，三层带有谱归一化的卷积层，每层通道减半，宽高翻倍，同时与Downsample有残差边相连。

输出层：两层有谱归一化的卷积、一层卷积输出层。

## 五、高阶退化模型
说白了就是图像劣化。

高阶退化模型（High-order Degradation Model）是Real-ESRGAN最重要的创新点。经典的退化模型不能模拟一些复杂的退化问题，特别是未知的噪声和复杂的伪影，这是因为合成的低分辨率图像与现实的退化图像仍然有很大的差距。因此，Real-ESRGAN将经典的退化模型扩展到高阶过程，以模拟更实际的退化。

所谓高阶退化模型通俗的说就是将经典退化算法排列组合，本文将退化算法分为Blur、Resize、Noise、JPEG Compression四类，如下图：

![](http://blog.lifs.top/usr/uploads/2025/01/709509419.png)

从代码中可以看出，整个退化模型循环两遍上面四种退化过程，每个过程随机选一种算法，步骤如下：

1.1 Blur：概率选择使用sinc filter还是其他模糊算法（iso/aniso/generalized_iso/generalized_aniso/plateau_iso/plateau_aniso），sinc filter概率默认10%。sinc filter是为了模拟振铃伪影(ring artifacts)和过冲伪影(overshoot artifacts)，两种伪影长这个样子：

![](http://blog.lifs.top/usr/uploads/2025/01/3075248513.png)
1.2 Resize：随机放大或缩小，插值方式area/bilinear/bicubic选一个；

1.3 Noise：噪声分布随机选择gaussian/poisson；噪声形式随机选择color/gray，color噪声就是三通道数值不一样（默认概率60%），gray噪声三通道数值一样（默认概率40%）；

1.4 JPEG compression：JPEG压缩，默认质量30-950；

## 损失
### 生成模型损失函数
![](http://blog.lifs.top/usr/uploads/2025/01/1585747147.png)

### 判别模型损失函数
![](http://blog.lifs.top/usr/uploads/2025/01/3421040671.png)