Human Attention during Goal-directed Reading Comprehension Relies on Task Optimization

要約

タイトル：目的指向の読解における人間の注意は、タスク最適化に依存している

要約：
– 複雑な目的指向のタスクにおける注意配分に対する計算原理は依然として不明である。
– 読書に基づく目的指向のタスクである、パッセージを読んで心にイメージした問いに答えることは、注意力を強く引き付ける現実世界のタスクである。
– ここでは、どのような計算モデルがこの複雑なタスクにおける注意配分を説明できるかを調査する。
– 読書中の各単語の読み取り時間は、同じ読書タスクを実行するために最適化されたトランスフォーマーベースの深層ニューラルネットワーク（DNN）の注意重みによって予測されることを示している。
– アイ・トラッキングはさらに、初回の読書と再読書において、読者が基本的なテキスト特徴と問題に関連する情報に別々に注意を払うことを明らかにした。
– 同様に、テキスト特徴と問題の関連性は、浅いレイヤーと深いDNNレイヤーで注意重みを別々に変調させる。
– さらに、読者が問いを心に思い浮かべずに一連の文章をスキャンする場合、読書時間は、単語予測タスクに最適化されたDNNによって予測される。
– したがって、現実世界の読書中の注意は、タスク最適化の結果として解釈することができる。

要約(オリジナル)

The computational principles underlying attention allocation in complex goal-directed tasks remain elusive. Goal-directed reading, i.e., reading a passage to answer a question in mind, is a common real-world task that strongly engages attention. Here, we investigate what computational models can explain attention distribution in this complex task. We show that the reading time on each word is predicted by the attention weights in transformer-based deep neural networks (DNNs) optimized to perform the same reading task. Eye-tracking further reveals that readers separately attend to basic text features and question-relevant information during first-pass reading and rereading, respectively. Similarly, text features and question relevance separately modulate attention weights in shallow and deep DNN layers. Furthermore, when readers scan a passage without a question in mind, their reading time is predicted by DNNs optimized for a word prediction task. Therefore, attention during real-world reading can be interpreted as the consequence of task optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI