Learning GAN-based Foveated Reconstruction to Recover Perceptually Important Image Features

要約

タイトル：感覚的に重要な画像特徴を回復するためのGANベースの集積学習

要約：

– 人間の視覚システムに応じて配布された希薄なサンプルから、集積画像を完全に再構築できる。
– 最近、生成的対抗ネットワーク（GAN）の使用が、欠落している画像情報を成功裏に幻覚化できる有望な解決策であることが示されている。
– 他の監督学習アプローチの場合と同様に、損失関数とトレーニング戦略の定義は、出力の品質に大きく影響する。
– この研究では、視覚システムの能力と限界により注意を払い、視覚的に重要な画像特徴を再構成できるように、集積再構成技術のトレーニングを効果的にガイドする問題を考慮する。
– GANベースのソリューションの性質に応じて、異なる密度の入力サンプルの幻覚化に対する人間の視覚的感度に焦点を当てる。
– 私たちは心理物理実験、データセット、集積画像再構成のトレーニング手順を提案する。
– 提案された戦略は、感覚的に重要である場合にのみ出力の誤差をペナルティ化することで、生成者ネットワークを柔軟にする。
– 我々の戦略を評価し、新しいトレーニングされた客観的メトリック、最近の集積ビデオ品質メトリック、およびユーザ実験を使用して代替ソリューションと比較した。我々の評価は、標準的なGANベースのトレーニングアプローチと比較して、知覚される画像再構成品質の明らかな改善を示した。

要約(オリジナル)

A foveated image can be entirely reconstructed from a sparse set of samples distributed according to the retinal sensitivity of the human visual system, which rapidly decreases with increasing eccentricity. The use of Generative Adversarial Networks has recently been shown to be a promising solution for such a task, as they can successfully hallucinate missing image information. As in the case of other supervised learning approaches, the definition of the loss function and the training strategy heavily influence the quality of the output. In this work,we consider the problem of efficiently guiding the training of foveated reconstruction techniques such that they are more aware of the capabilities and limitations of the human visual system, and thus can reconstruct visually important image features. Our primary goal is to make the training procedure less sensitive to distortions that humans cannot detect and focus on penalizing perceptually important artifacts. Given the nature of GAN-based solutions, we focus on the sensitivity of human vision to hallucination in case of input samples with different densities. We propose psychophysical experiments, a dataset, and a procedure for training foveated image reconstruction. The proposed strategy renders the generator network flexible by penalizing only perceptually important deviations in the output. As a result, the method emphasized the recovery of perceptually important image features. We evaluated our strategy and compared it with alternative solutions by using a newly trained objective metric, a recent foveated video quality metric, and user experiments. Our evaluations revealed significant improvements in the perceived image reconstruction quality compared with the standard GAN-based training approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI