Learnt Deep Hyperparameter selection in Adversarial Training for compressed video enhancement with perceptual critic

要約

画像ベースのディープ フィーチャ クオリティ メトリクス (DFQM) は、従来のメトリクスよりも主観的な知覚スコアとの相関が高いことが示されています。
これらの DFQM の基本的な焦点は、大規模な分類ネットワークからの内部表現をメトリック特徴空間として活用することです。
以前は、どのレイヤーが最も知覚的に関連しているかを特定する問題には注意が向けられていませんでした。
この論文では、レイヤーの動作の神経科学的解釈に基づいて、そのようなネットワークから知覚的に関連するレイヤーを選択するための新しい方法を提示します。
選択されたレイヤーは、W-GAN の批評家ネットワークへのハイパーパラメーターとして扱われます。
批評家は、準備段階でこれらのレイヤーからの出力を使用して、知覚情報を抽出します。
ビデオ エンハンスメント ネットワークは、この批評家によって敵対的にトレーニングされます。
私たちの結果は、これらの選択された機能を批評家に導入すると、最適化された特徴選択のアイデアを利用しない他の批評家ネットワークに対して最大 10% (FID) および 15% (KID) のパフォーマンス向上が得られることを示しています。

要約(オリジナル)

Image based Deep Feature Quality Metrics (DFQMs) have been shown to better correlate with subjective perceptual scores over traditional metrics. The fundamental focus of these DFQMs is to exploit internal representations from a large scale classification network as the metric feature space. Previously, no attention has been given to the problem of identifying which layers are most perceptually relevant. In this paper we present a new method for selecting perceptually relevant layers from such a network, based on a neuroscience interpretation of layer behaviour. The selected layers are treated as a hyperparameter to the critic network in a W-GAN. The critic uses the output from these layers in the preliminary stages to extract perceptual information. A video enhancement network is trained adversarially with this critic. Our results show that the introduction of these selected features into the critic yields up to 10% (FID) and 15% (KID) performance increase against other critic networks that do not exploit the idea of optimised feature selection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google