FutureVision: A methodology for the investigation of future cognition

要約

このホワイトペーパーでは、マルチモーダルセマンティック分析と視線追跡実験プロトコルを組み合わせて、将来のシナリオのコミュニケーションを理解することに伴う認知的努力を調査する方法を紹介します。
方法論を実証するために、ポータブルアイトラッカーを使用して、未来のシナリオを説明する架空の広告ピースの価の評価と反事実性の評価中に視覚固定パターンがどのように異なるかを調べるパイロット研究を実施します。
参加者の眼球運動は、刺激を評価し、会話パートナーに説明しながら記録されます。
視線パターンは、言語モダリティと視覚的モダリティの両方のフレームセマンティック注釈から構築された、刺激と参加者の説明の意味表現とともに分析されます。
予備的な結果は、遠い存在と悲観的なシナリオがより長い固定とより不安定なサッカードに関連していることを示しており、将来のシナリオの解釈の根底にあるベーススペースの骨折が、統合者の認知負荷を増加させるという仮説を支持することが示されています。

要約(オリジナル)

This paper presents a methodology combining multimodal semantic analysis with an eye-tracking experimental protocol to investigate the cognitive effort involved in understanding the communication of future scenarios. To demonstrate the methodology, we conduct a pilot study examining how visual fixation patterns vary during the evaluation of valence and counterfactuality in fictional ad pieces describing futuristic scenarios, using a portable eye tracker. Participants eye movements are recorded while evaluating the stimuli and describing them to a conversation partner. Gaze patterns are analyzed alongside semantic representations of the stimuli and participants descriptions, constructed from a frame semantic annotation of both linguistic and visual modalities. Preliminary results show that far-future and pessimistic scenarios are associated with longer fixations and more erratic saccades, supporting the hypothesis that fractures in the base spaces underlying the interpretation of future scenarios increase cognitive load for comprehenders.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google