TRACE: Real-Time Multimodal Common Ground Tracking in Situated Collaborative Dialogues

要約

実施された共同タスクでのライブ *共通の地面 *追跡のための新しいシステムであるTraceを提示します。
高速でリアルタイムのパフォーマンスに焦点を当て、トレースは参加者のスピーチ、アクション、ジェスチャー、視覚的注意を追跡し、これらのマルチモーダル入力を使用して、対話が進むにつれて提起されたタスク関連の提案のセットを決定し、グループの認識論的位置とタスクに対する信念を追跡します。
コラボレーションを仲介できるAIシステムへの関心の高まりの中で、Traceは、マルチパーティのマルチモーダル談話に関与できるエージェントにとって重要な前進を表しています。

要約(オリジナル)

We present TRACE, a novel system for live *common ground* tracking in situated collaborative tasks. With a focus on fast, real-time performance, TRACE tracks the speech, actions, gestures, and visual attention of participants, uses these multimodal inputs to determine the set of task-relevant propositions that have been raised as the dialogue progresses, and tracks the group’s epistemic position and beliefs toward them as the task unfolds. Amid increased interest in AI systems that can mediate collaborations, TRACE represents an important step forward for agents that can engage with multiparty, multimodal discourse.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google