Explainable XR: Understanding User Behaviors of XR Environments using LLM-assisted Analytics Framework

要約

データ解釈支援に大規模言語モデル (LLM) を活用して、さまざまな拡張現実 (XR) 環境でのユーザーの行動を分析するためのエンドツーエンドのフレームワークである Explainable XR を紹介します。
既存の XR ユーザー分析フレームワークは、クロス仮想性 (AR、VR、MR) の移行、マルチユーザーの共同アプリケーション シナリオ、およびマルチモーダル データの複雑さを処理する際に課題に直面しています。
Explainable XR は、没入型セッションの収集、分析、視覚化のための仮想性に依存しないソリューションを提供することで、これらの課題に対処します。
私たちはフレームワークで 3 つの主要コンポーネントを提案します。 (1) ユーザー アクション記述子 (UAD) と呼ばれる新しいユーザー データ記録スキーマ。ユーザーのマルチモーダル アクションをその意図やコンテキストとともにキャプチャできます。
(2) プラットフォームに依存しない XR セッション レコーダー、(3) アナリストの視点に合わせた LLM 支援の洞察を提供し、記録された XR セッション データの探索と分析を容易にするビジュアル分析インターフェイス。
仮想化全体にわたる個別の XR アプリケーションと共同の XR アプリケーションの両方で、5 つのユースケース シナリオをデモンストレーションすることで、Explainable XR の多用途性を示します。
当社の技術評価とユーザー調査により、Explainable XR は、ユーザーの行動を理解し、没入型環境でのユーザーの行動について多面的で実用的な洞察を提供するための、非常に使いやすい分析ソリューションを提供することがわかりました。

要約(オリジナル)

We present Explainable XR, an end-to-end framework for analyzing user behavior in diverse eXtended Reality (XR) environments by leveraging Large Language Models (LLMs) for data interpretation assistance. Existing XR user analytics frameworks face challenges in handling cross-virtuality – AR, VR, MR – transitions, multi-user collaborative application scenarios, and the complexity of multimodal data. Explainable XR addresses these challenges by providing a virtuality-agnostic solution for the collection, analysis, and visualization of immersive sessions. We propose three main components in our framework: (1) A novel user data recording schema, called User Action Descriptor (UAD), that can capture the users’ multimodal actions, along with their intents and the contexts; (2) a platform-agnostic XR session recorder, and (3) a visual analytics interface that offers LLM-assisted insights tailored to the analysts’ perspectives, facilitating the exploration and analysis of the recorded XR session data. We demonstrate the versatility of Explainable XR by demonstrating five use-case scenarios, in both individual and collaborative XR applications across virtualities. Our technical evaluation and user studies show that Explainable XR provides a highly usable analytics solution for understanding user actions and delivering multifaceted, actionable insights into user behaviors in immersive environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google