Clustered Saliency Prediction

要約

我々は、画像の顕著性を予測する新しい手法、Clustered Saliency Predictionを発表する。この手法は、個人の特徴量と既知の顕著性マップに基づいて個人をクラスタに分割し、各クラスタに対して個別の画像顕著性モデルを生成する。我々は、個人特徴要素の重要度を変化させた個人別顕著性マップの公開データセットで本手法をテストし、クラスタへの影響を観察する。各クラスタに対して、Pix2Pixモデルを中心とした画像間変換手法を用い、普遍的な顕著性マップをそのクラスタの顕著性マップに変換する。DeepGaze II、ML-Net、SalGANという3つの最新鋭の普遍的顕著性予測手法を試し、その結果への影響を見る。その結果、我々のクラスタ化顕著性予測技術は、最先端の普遍的顕著性予測モデルを凌駕する性能を持つことが示されました。また、Subject Similarity Clusteringアルゴリズムによって得られたクラスタを用いたClustered Saliency Predictionの結果を2つのベースライン手法と比較することにより、我々のクラスタリング手法の有効性を実証する。我々は、個人の特徴と既知の顕著性マップに基づいて、新しい人々を最も適切なクラスタに割り当てるアプローチを提案する。実験では、このクラスタへの割り当て方法は、平均的に、より高い顕著性スコアを与えるクラスタを選択することを確認した。

要約(オリジナル)

We present a new method for image salience prediction, Clustered Saliency Prediction. This method divides individuals into clusters based on their personal features and their known saliency maps, and generates a separate image salience model for each cluster. We test our approach on a public dataset of personalized saliency maps, with varying importance weights for personal feature factors and observe the effects on the clusters. For each cluster, we use an image-to-image translation method, mainly Pix2Pix model, to convert universal saliency maps to saliency maps of that cluster. We try three state-of-the-art universal saliency prediction methods, DeepGaze II, ML-Net and SalGAN, and see their impact on the results. We show that our Clustered Saliency Prediction technique outperforms the state-of-the-art universal saliency prediction models. Also we demonstrate the effectiveness of our clustering method by comparing the results of Clustered Saliency Prediction using clusters obtained by Subject Similarity Clustering algorithm with two baseline methods. We propose an approach to assign new people to the most appropriate cluster, based on their personal features and any known saliency maps. In our experiments we see that this method of assigning new people to a cluster on average chooses the cluster that gives higher saliency scores.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL