Clustered Saliency Prediction

要約

我々は、画像の顕著性予測のための新しい手法、クラスタ化顕著性予測を提案する。この手法は、被験者の個人的特徴と既知の顕著性マップに基づいて被験者をクラスタに分割し、クラスタラベルを条件として画像顕著性モデルを生成する。本手法は、個人別に作成された顕著性マップの公開データセットを用いてテストし、個人特徴要素に対する選択された重要度重みを用いて被験者をクラスタリングする。各クラスタに対する顕著性マップを予測するために、画像刺激と普遍的顕著性マップを用いる多領域顕著性変換モデルを提案する。普遍的な顕著性マップを得るために、DeepGaze IIE、ML-Net、SalGANといった様々な最先端の手法を適用し、我々のシステムにおける有効性を比較した。その結果、我々のクラスタ化顕著性予測手法が、普遍的な顕著性予測モデルを凌駕することを示す。また、我々のアルゴリズムによって得られたクラスタを用いたクラスタ化顕著性予測の結果を、いくつかのベースライン手法と比較することで、我々のクラスタリング手法の有効性を示す。最後に、新しい人々を最適なクラスタに割り当てるアプローチを提案し、その有用性を実験で証明する。

要約(オリジナル)

We present a new method for image salience prediction, Clustered Saliency Prediction. This method divides subjects into clusters based on their personal features and their known saliency maps, and generates an image salience model conditioned on the cluster label. We test our approach on a public dataset of personalized saliency maps and cluster the subjects using selected importance weights for personal feature factors. We propose the Multi-Domain Saliency Translation model which uses image stimuli and universal saliency maps to predict saliency maps for each cluster. For obtaining universal saliency maps, we applied various state-of-the-art methods, DeepGaze IIE, ML-Net and SalGAN, and compared their effectiveness in our system. We show that our Clustered Saliency Prediction technique outperforms the universal saliency prediction models. Also, we demonstrate the effectiveness of our clustering method by comparing the results of Clustered Saliency Prediction using clusters obtained by our algorithm with some baseline methods. Finally, we propose an approach to assign new people to their most appropriate cluster and prove its usefulness in the experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL