Learning User Embeddings from Human Gaze for Personalised Saliency Prediction

要約

ユーザー行動の再利用可能な埋め込みにより、パーソナライズされた顕著性予測タスクのパフォーマンスが大幅に向上することが示されました。
ただし、従来の作品では、入力として明示的なユーザーの特性や好みが必要であり、これらを取得するのは多くの場合困難です。
我々は、自然画像のペアと、少量のユーザー固有の視線追跡データから生成された対応する顕著性マップからユーザーの埋め込みを抽出する新しい方法を提案します。
私たちの手法の中核となるのは、さまざまなユーザーの画像と個人の顕著性マップのペアを対比することによってユーザーの埋め込みを学習するシャム畳み込みニューラル エンコーダーです。
2 つの公開顕著性データセットの評価では、生成されたエンベディングが高い識別力を持ち、普遍的な顕著性マップを個々のユーザーに合わせて洗練するのに効果的であり、ユーザーと画像全体にわたって適切に一般化できることが示されています。
最後に、個々のユーザー特性をエンコードするモデルの機能に基づいて、私たちの作業は、視線動作の再利用可能な埋め込みから恩恵を受けることができる他のアプリケーションを目指しています。

要約(オリジナル)

Reusable embeddings of user behaviour have shown significant performance improvements for the personalised saliency prediction task. However, prior works require explicit user characteristics and preferences as input, which are often difficult to obtain. We present a novel method to extract user embeddings from pairs of natural images and corresponding saliency maps generated from a small amount of user-specific eye tracking data. At the core of our method is a Siamese convolutional neural encoder that learns the user embeddings by contrasting the image and personal saliency map pairs of different users. Evaluations on two public saliency datasets show that the generated embeddings have high discriminative power, are effective at refining universal saliency maps to the individual users, and generalise well across users and images. Finally, based on our model’s ability to encode individual user characteristics, our work points towards other applications that can benefit from reusable embeddings of gaze behaviour.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google