Scanpath Prediction on Information Visualisations

要約

我々は、視覚的顕著性とスキャンパス（すなわち、視線固定のシーケンス）を予測するために学習するモデル、Unified Model of Saliency and Scanpaths (UMSS)を提案する。スキャンパスは、視覚探索プロセスにおける異なる視覚化要素の重要性に関する豊富な情報を提供するが、先行研究は、視覚的顕著性のような集約された注意統計量を予測することに限られていた。我々は、人気のあるMASSVISデータセットにおける、異なる情報可視化要素（例：タイトル、ラベル、データ）に対する視線行動の詳細な分析を提示する。全体として、視線パターンは視覚化と視聴者間で驚くほど一貫しているが、異なる要素に対する視線力学の構造的な違いも存在することを示す。UMSSは我々の分析から情報を得て、まず複数時間の要素レベルの顕著性マップを予測し、次にそこからスキャンパスを確率的にサンプリングする。MASSVISを用いた広範な実験により、本手法は、広く用いられているいくつかのスキャンパスおよび顕著性評価指標に関して、一貫して最先端手法を上回る性能を示すことが示された。本手法は、スキャンパス予測においてシーケンススコアで11.5%の相対的な改善を、顕著性予測においてピアソン相関係数で最大23.6%の相対的な改善を達成した。これらの結果は、アイトラッキング機器を必要としないビジュアライゼーションにおける、より豊かなユーザモデルと視覚的注意のシミュレーションに向けて、幸先の良いものです。

要約(オリジナル)

We propose Unified Model of Saliency and Scanpaths (UMSS) — a model that learns to predict visual saliency and scanpaths (i.e. sequences of eye fixations) on information visualisations. Although scanpaths provide rich information about the importance of different visualisation elements during the visual exploration process, prior work has been limited to predicting aggregated attention statistics, such as visual saliency. We present in-depth analyses of gaze behaviour for different information visualisation elements (e.g. Title, Label, Data) on the popular MASSVIS dataset. We show that while, overall, gaze patterns are surprisingly consistent across visualisations and viewers, there are also structural differences in gaze dynamics for different elements. Informed by our analyses, UMSS first predicts multi-duration element-level saliency maps, then probabilistically samples scanpaths from them. Extensive experiments on MASSVIS show that our method consistently outperforms state-of-the-art methods with respect to several, widely used scanpath and saliency evaluation metrics. Our method achieves a relative improvement in sequence score of 11.5% for scanpath prediction, and a relative improvement in Pearson correlation coefficient of up to 23.6% for saliency prediction. These results are auspicious and point towards richer user models and simulations of visual attention on visualisations without the need for any eye tracking equipment.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL