Eyettention: An Attention-based Dual-Sequence Model for Predicting Human Scanpaths during Reading

要約

タイトル：読書中の人間の注視経路を予測するための注目ベースの二重シーケンスモデル「Eyettention」
要約：

– 読書中のアイマスクは、読者の認知プロセスと読書されているテキストの特性の両方について洞察を提供します。
– 従って、読書のスキャンパスの分析は、認知科学、言語学、コンピュータ科学などの分野をまたいで、ますます注目されています。
– 読書中のアイマスクをトラッキングするデータは、機械学習ベースの言語モデルがより人間らしい言語行動を示す可能性があると主張されてきました。
– しかしながら、読書中の人間のスキャンパスをモデル化する際の主な課題の1つは、二重シーケンスの性質です：単語は言語の文法的な規則に従って順序付けられていますが、フィクセーションは時系列順に並べられます。
– 人間は左から右に厳密に読まず、むしろ単語をスキップしたり再修正したりして前の単語に戻ったりしますので、言語と時間のシーケンスの整列は非常に困難です。
– この論文では、私たちは、二重シーケンスモデルである「Eyettention」を開発しました。このモデルは、単語のシーケンスと注目の時系列の両方を同時に処理します。二つのシーケンスの整列は、クロスシーケンスアテンションメカニズムによって達成されます。
– 私たちは、Eyettentionがスキャンパスの予測において最先端のモデルを圧倒することを示しました。さまざまな言語での、データセット内およびデータセット間の評価を提供します。
– アブレーション研究と質的分析は、モデルの行動についての深い理解をサポートします。

要約(オリジナル)

Eye movements during reading offer insights into both the reader’s cognitive processes and the characteristics of the text that is being read. Hence, the analysis of scanpaths in reading have attracted increasing attention across fields, ranging from cognitive science over linguistics to computer science. In particular, eye-tracking-while-reading data has been argued to bear the potential to make machine-learning-based language models exhibit a more human-like linguistic behavior. However, one of the main challenges in modeling human scanpaths in reading is their dual-sequence nature: the words are ordered following the grammatical rules of the language, whereas the fixations are chronologically ordered. As humans do not strictly read from left-to-right, but rather skip or refixate words and regress to previous words, the alignment of the linguistic and the temporal sequence is non-trivial. In this paper, we develop Eyettention, the first dual-sequence model that simultaneously processes the sequence of words and the chronological sequence of fixations. The alignment of the two sequences is achieved by a cross-sequence attention mechanism. We show that Eyettention outperforms state-of-the-art models in predicting scanpaths. We provide an extensive within- and across-data set evaluation on different languages. An ablation study and qualitative analysis support an in-depth understanding of the model’s behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI