Learning A Single Network for Scale-Arbitrary Super-Resolution

码农世界 2024-05-27 后端 68 次浏览 0个评论

ICCV2021
1. 问题引入
- 现在的超分模型大多专门为固定整数scale的超分任务设计，本文提出一个可插拔模块，来利用一个模型来实现任意尺度的超分模型，包含non-integer(e.g., from 100 × 100 to 220 × 220) and asymmetric SR(100 × 100 to 220 × 420)；
- 实现方法是增加一个模块，模块有多个scale aware feature adaption block和scale aware upsampling layer组成，同时，conditional conv被用来生成scale aware filters；
- 基于meta-sr的改进之作；
  1. 方法
  - 本文分析了不同scale SR之间的相互关系，方法是通过取各个特定尺度的模型，在相同的输入的情况下，取出相同层的feature map来计算相似度，相似度高的位置的特征可以直接被用来进行任意尺度的超分，而相似度低的地方只能用来做特定尺度的超分；
  - 首先本文提出的方法是可插拔的，所以是可以在现有的特定尺度超分模型的基础上添加本文提出的两个模块实现任意尺度的超分任务，基本模型如下图，其中在每几个backbone blocks之后插入scale aware feature adaption block，在最后使用scale aware usampling layer来进行任意尺度的上采样；
  - Scale-Aware Feature Adaption如图所示，其中scale aware convolution layer如下图所示，卷积的取得是使用scale作为条件的：
  - Scale-Aware Upsampling：之前的方法使用pixel shuffle的方法来实现特定整数尺度的上采样，此处泛化为scale aware upsampling layer，其图示如下：
    1. 实验
    - 数据：DIV2K dataset for train and Set5 [27], Set14 [28], B100 [29], Urban100 [30], and Manga109 for eval;
    - 指标：PSNR + SSIM；