Analyzing Multimodal Interaction Strategies for LLM-Assisted Manipulation of 3D Scenes

要約

イマーシブ環境向けの 3D コンテンツ用の大規模言語モデル (LLM) のアプリケーションが増えるにつれ、ユーザーの行動を研究してインタラクション パターンと潜在的な障壁を特定し、LLM が関与するイマーシブ コンテンツの作成および編集システムの将来の設計の指針となることが重要です。
12 人の参加者による実証的なユーザー調査では、定量的な使用状況データと体験後のアンケートのフィードバックを組み合わせて、LLM 支援 3D シーン編集システムにおける一般的なインタラクション パターンと主要な障壁を明らかにしました。
私たちは、3D デザイン ツールの自然言語インターフェイスを改善する機会を特定し、将来の LLM 統合 3D コンテンツ作成システムの設計推奨事項を提案します。
実証研究を通じて、LLM 支援のインタラクティブ システムが没入型環境で生産的に使用できることを実証します。

要約(オリジナル)

As more applications of large language models (LLMs) for 3D content for immersive environments emerge, it is crucial to study user behaviour to identify interaction patterns and potential barriers to guide the future design of immersive content creation and editing systems which involve LLMs. In an empirical user study with 12 participants, we combine quantitative usage data with post-experience questionnaire feedback to reveal common interaction patterns and key barriers in LLM-assisted 3D scene editing systems. We identify opportunities for improving natural language interfaces in 3D design tools and propose design recommendations for future LLM-integrated 3D content creation systems. Through an empirical study, we demonstrate that LLM-assisted interactive systems can be used productively in immersive environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google