Perceptually Optimized Super Resolution

要約

最新のディープラーニング ベースの超解像度技術は、基礎となるコンテンツや表示条件とは無関係に画像とビデオを処理します。
ただし、画像の詳細に対する人間の視覚システムの感度は、空間周波数、輝度、色、コントラスト、動きなどの基礎となるコンテンツ特性に応じて変化します。
この観察は、視聴者が結果を解決できない場合には、ビジュアル コンテンツのアップサンプリングに費やされる計算リソースが無駄になる可能性があることを示唆しています。
この観察に動機づけられて、私たちは超解像技術の視覚的な品質と効率を制御するための、知覚にインスピレーションを得た、アーキテクチャに依存しないアプローチを提案します。
その核となるのは、画像の細部に対する人間の感性に応じて超解像手法を動的に導く知覚モデルです。
私たちの技術は人間の視覚システムの限界を利用して、知覚的に重要な領域に計算リソースを集中させることで超解像技術の効率を向上させます。
適応する輝度、コントラスト、空間周波数、動き、観察条件などの要素に基づいて判断されます。
目に見える品質の損失なしに超解像法の計算効率を向上させるために、ネットワーク分岐およびネットワークの複雑さの軽減と組み合わせた提案モデルの適用を実証します。
ユーザー調査を含む定量的および定性的評価は、知覚品質を犠牲にすることなく FLOPS を 2$\mathbf{x}$ 以上削減するという私たちのアプローチの有効性を実証しています。

要約(オリジナル)

Modern deep-learning based super-resolution techniques process images and videos independently of the underlying content and viewing conditions. However, the sensitivity of the human visual system to image details changes depending on the underlying content characteristics, such as spatial frequency, luminance, color, contrast, or motion. This observation hints that computational resources spent on up-sampling visual content may be wasted whenever a viewer cannot resolve the results. Motivated by this observation, we propose a perceptually inspired and architecture-agnostic approach for controlling the visual quality and efficiency of super-resolution techniques. The core is a perceptual model that dynamically guides super-resolution methods according to the human’s sensitivity to image details. Our technique leverages the limitations of the human visual system to improve the efficiency of super-resolution techniques by focusing computational resources on perceptually important regions; judged on the basis of factors such as adapting luminance, contrast, spatial frequency, motion, and viewing conditions. We demonstrate the application of our proposed model in combination with network branching, and network complexity reduction to improve the computational efficiency of super-resolution methods without visible quality loss. Quantitative and qualitative evaluations, including user studies, demonstrate the effectiveness of our approach in reducing FLOPS by factors of 2$\mathbf{x}$ and greater, without sacrificing perceived quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google