Satori: Towards Proactive AR Assistant with Belief-Desire-Intention User Modeling

要約

拡張現実アシスタンスは、組み立てや調理などのタスクをユーザーにサポートするためにますます人気が高まっています。
ただし、現在の実践では、ユーザーのリクエストから初期化された反応的な応答が提供されるのが一般的で、豊富なコンテキスト情報やユーザー固有の情報が考慮されていません。
この制限に対処するために、私たちは、ユーザーの状態と環境コンテキストの両方をモデル化してプロアクティブなガイダンスを提供する、新しい AR 支援システムであるSatoriを提案します。
私たちのシステムは、Belief-Desire-Intention (BDI) モデルと最先端のマルチモーダル大規模言語モデル (LLM) を組み合わせて、状況に応じて適切なガイダンスを推測します。
このデザインは、12 人の専門家が参加した 2 つの形成的研究によって情報を得ています。
16件の被験者内研究で、Satoriは手動構成やヒューリスティックに頼ることなく、デザイナーが作成したオズの魔法使（WoZ）システムに匹敵するパフォーマンスを達成し、それによって汎用性、再利用性が向上し、AR支援の新たな可能性が開かれることが判明した。

要約(オリジナル)

Augmented Reality assistance are increasingly popular for supporting users with tasks like assembly and cooking. However, current practice typically provide reactive responses initialized from user requests, lacking consideration of rich contextual and user-specific information. To address this limitation, we propose a novel AR assistance system, Satori, that models both user states and environmental contexts to deliver proactive guidance. Our system combines the Belief-Desire-Intention (BDI) model with a state-of-the-art multi-modal large language model (LLM) to infer contextually appropriate guidance. The design is informed by two formative studies involving twelve experts. A sixteen within-subject study find that Satori achieves performance comparable to an designer-created Wizard-of-Oz (WoZ) system without relying on manual configurations or heuristics, thereby enhancing generalizability, reusability and opening up new possibilities for AR assistance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google