Eye Gaze as a Signal for Conveying User Attention in Contextual AI Systems

要約

高度なマルチモーダル AI エージェントは、ユーザーと協力して世界の課題を解決できるようになりました。
私たちは、物理的環境に対するユーザーの注意を伝えるためのこのようなインタラクションにおける視線追跡の役割を調査します。
この知識により、AI エージェントの状況理解が向上すると仮説を立てています。
私たちは、人間と物体の相互作用を何時間も観察することで、まずアイトラッカーの信号品質と、近くの物理的物体に確実に視線を置く能力との関係を測定します。
次に、マルチモーダル エージェントをクエリする追加のコンテキストとしてユーザーのスキャンパス履歴を中継する実験を実施します。
私たちの結果は、視線追跡がユーザーの注意信号として高い価値を提供し、ユーザーの現在のタスクと興味に関する情報をエージェントに伝えることができることを示しています。

要約(オリジナル)

Advanced multimodal AI agents can now collaborate with users to solve challenges in the world. We explore eye tracking’s role in such interaction to convey a user’s attention relative to the physical environment. We hypothesize that this knowledge improves contextual understanding for AI agents. By observing hours of human-object interactions, we first measure the relationship between an eye tracker’s signal quality and its ability to reliably place gaze on nearby physical objects. We then conduct experiments which relay the user’s scanpath history as additional context querying multimodal agents. Our results show that eye tracking provides high value as a user attention signal and can convey information about the user’s current task and interests to the agent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google