CABM: Content-Aware Bit Mapping for Single Image Super-Resolution Network with Large Input

要約

タイトル： Content-Aware Bit Mapping for Single Image Super-Resolution Network with Large Input
要約：
– 高精細な表示デバイスの開発に伴い、Super-Resolution（SR）の実用的なシナリオは通常、2Kなどの大きな入力を高解像度（4K / 8K）にスーパーリゾルブする必要があります。
– 現在の方法は、まず大きな入力をローカルパッチに分割し、その後SRパッチを出力にマージします。これらの方法は、各パッチに対してサブネットを適応的に割り当てます。
– 現在の方法では、各レイヤーの適切なビットを決定するために、MLPビットセレクターをトレーニングしています。しかし、単純なサブネットは過剰適合し、複雑なサブネットは不適合になるため、均一にサンプリングされたサブネットによって訓練されます。
– この論文では、Content-Aware Bit Mapping（CABM）という新しい方法を提案し、ビットセレクターを追加コストなしで削除できるとともに、トレーニング中に各レイヤーのビットセレクターを学習することができます。
– トレーニング後、入力パッチのエッジ情報と各層のビットの関係を分析し、エッジ情報が選択されたビットの効果的なメトリックであることがわかりました。したがって、エッジスコアを各レイヤーのビットにマッピングするエッジトービットルックアップテーブルを構築する戦略を設計しました。
– SRネットワークのビット構成は、すべての層のルックアップテーブルによって決定されます。この戦略を使用することにより、より効率的な混合精度ネットワークが実現され、詳細な実験を行い、将来の研究への提言を行います。

要約(オリジナル)

With the development of high-definition display devices, the practical scenario of Super-Resolution (SR) usually needs to super-resolve large input like 2K to higher resolution (4K/8K). To reduce the computational and memory cost, current methods first split the large input into local patches and then merge the SR patches into the output. These methods adaptively allocate a subnet for each patch. Quantization is a very important technique for network acceleration and has been used to design the subnets. Current methods train an MLP bit selector to determine the propoer bit for each layer. However, they uniformly sample subnets for training, making simple subnets overfitted and complicated subnets underfitted. Therefore, the trained bit selector fails to determine the optimal bit. Apart from this, the introduced bit selector brings additional cost to each layer of the SR network. In this paper, we propose a novel method named Content-Aware Bit Mapping (CABM), which can remove the bit selector without any performance loss. CABM also learns a bit selector for each layer during training. After training, we analyze the relation between the edge information of an input patch and the bit of each layer. We observe that the edge information can be an effective metric for the selected bit. Therefore, we design a strategy to build an Edge-to-Bit lookup table that maps the edge score of a patch to the bit of each layer during inference. The bit configuration of SR network can be determined by the lookup tables of all layers. Our strategy can find better bit configuration, resulting in more efficient mixed precision networks. We conduct detailed experiments to demonstrate the generalization ability of our method. The code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI