HVS-Inspired Signal Degradation Network for Just Noticeable Difference Estimation

要約

特に最近開発された教師なし JND 生成モデルでは、ディープ ニューラル ネットワークの開発により、JND (Just Notice Difference) モデリングが大幅に改善されました。
ただし、生成された JND が人間の脳の知覚ドメインではなく、実世界の信号ドメインで評価されるという大きな欠点があります。
現実世界の視覚信号は、人間の視覚系 (HVS) によって脳に配信される前にエンコードされるため、JND がこのような 2 つのドメインで評価される場合、明らかな違いがあります。
したがって、JND推定のためのHVSにヒントを得た信号劣化ネットワークを提案します。
これを達成するために、JNDの主観的表示におけるHVS知覚プロセスを注意深く分析して関連する洞察を得てから、HVSにインスパイアされた信号劣化（HVS-SD）ネットワークを設計して、HVSの信号劣化を表します。
一方では、よく学習された HVS-SD により、知覚ドメインで JND を評価できます。
一方で、JND 生成をより適切に導くためのより正確な事前情報を提供します。
さらに、合理的な JND が視覚的注意のシフトを引き起こしてはならないという要件を考慮して、JND 生成を制御するために視覚的注意の喪失が提案されています。
実験結果は、提案された方法が、HVS の冗長性を正確に推定するための SOTA 性能を達成することを示しています。
ソース コードは、https://github.com/jianjin008/HVS-SD-JND で入手できます。

要約(オリジナル)

Significant improvement has been made on just noticeable difference (JND) modelling due to the development of deep neural networks, especially for the recently developed unsupervised-JND generation models. However, they have a major drawback that the generated JND is assessed in the real-world signal domain instead of in the perceptual domain in the human brain. There is an obvious difference when JND is assessed in such two domains since the visual signal in the real world is encoded before it is delivered into the brain with the human visual system (HVS). Hence, we propose an HVS-inspired signal degradation network for JND estimation. To achieve this, we carefully analyze the HVS perceptual process in JND subjective viewing to obtain relevant insights, and then design an HVS-inspired signal degradation (HVS-SD) network to represent the signal degradation in the HVS. On the one hand, the well learnt HVS-SD enables us to assess the JND in the perceptual domain. On the other hand, it provides more accurate prior information for better guiding JND generation. Additionally, considering the requirement that reasonable JND should not lead to visual attention shifting, a visual attention loss is proposed to control JND generation. Experimental results demonstrate that the proposed method achieves the SOTA performance for accurately estimating the redundancy of the HVS. Source code will be available at https://github.com/jianjin008/HVS-SD-JND.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google