Trainable Loss Weights in Super-Resolution

要約

近年、超解像に関する研究は主に、教師なしモデルの開発、ブラインド ネットワーク、および非ブラインド モデルでの最適化手法の使用に焦点を当ててきました。
しかし、限られた研究では、超解像プロセスにおける損失関数が議論されています。
これらの研究の大部分は、従来の方法で知覚的類似性を使用しただけです。
これは、適切な損失を開発することで、他の方法の品質も向上させることができます。
この記事では、ピクセルごとの損失に対する新しい重み付け方法が提案されています。
この方法を使用すると、ピクセル単位の損失の利点を維持しながら、画像の一般的な構造とその知覚的特徴に基づいてトレーニング可能な重みを使用できます。
また、損失の重みを比較するための基準が導入され、この基準を使用して畳み込みニューラル ネットワークによって重みを直接推定できるようになります。
なお、本稿では同時推定超解像ネットワークと重み付けネットワークに期待値最大化法を用いています。
さらに、「FixedSum」と呼ばれる新しいアクティベーション関数が導入され、出力コンポーネントを 0 と 1 の間に保ちながら、ベクトル定数のすべてのコンポーネントの合計を維持できます。
実験結果のセクションに示されているように、提案された方法による重み付き損失は、信号対雑音と知覚的類似性の両方の意味で、重みなしの損失よりも良い結果をもたらします。

要約(オリジナル)

In recent years, research on super-resolution has primarily focused on the development of unsupervised models, blind networks, and the use of optimization methods in non-blind models. But, limited research has discussed the loss function in the super-resolution process. The majority of those studies have only used perceptual similarity in a conventional way. This is while the development of appropriate loss can improve the quality of other methods as well. In this article, a new weighting method for pixel-wise loss is proposed. With the help of this method, it is possible to use trainable weights based on the general structure of the image and its perceptual features while maintaining the advantages of pixel-wise loss. Also, a criterion for comparing weights of loss is introduced so that the weights can be estimated directly by a convolutional neural network using this criterion. In addition, in this article, the expectation-maximization method is used for the simultaneous estimation super-resolution network and weighting network. In addition, a new activation function, called ‘FixedSum’, is introduced which can keep the sum of all components of vector constants while keeping the output components between zero and one. As shown in the experimental results section, weighted loss by the proposed method leads to better results than the unweighted loss in both signal-to-noise and perceptual similarity senses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google