Can You Move These Over There? An LLM-based VR Mover for Supporting Object Manipulation

要約

私たちの日常生活では、言葉やジェスチャーを使って物体の空間操作の指示を自然に伝えることができる。このようなインタラクションをバーチャルリアリティ（VR）のオブジェクト操作に応用することは有益である。我々は、LLMを搭載したソリューションであるVR Moverを提案する。LLMは、オブジェクトの操作をサポートするために、ユーザーの声の指示を理解し、解釈することができる。LLMは、単にポインティングして話すだけで、構造化された入力なしにオブジェクトを操作することができる。我々のユーザー研究では、VR Moverがユーザーの使いやすさ、全体的な経験、複数オブジェクト操作のパフォーマンスを向上させ、同時に作業負荷と腕の疲労を軽減することが実証された。ユーザーは、大まかな動きに対しては提案された自然なインターフェースを好み、より細かい調整に対してはギズモやバーチャルハンドに補完的に切り替える可能性がある。これらの知見は、将来のLLMベースの物体操作インタフェースの設計に寄与すると考えられ、VR環境においてより直感的で効率的なユーザインタラクションの可能性を強調するものである。

要約(オリジナル)

In our daily lives, we can naturally convey instructions for the spatial manipulation of objects using words and gestures. Transposing this form of interaction into virtual reality (VR) object manipulation can be beneficial. We propose VR Mover, an LLM-empowered solution that can understand and interpret the user’s vocal instruction to support object manipulation. By simply pointing and speaking, the LLM can manipulate objects without structured input. Our user study demonstrates that VR Mover enhances user usability, overall experience and performance on multi-object manipulation, while also reducing workload and arm fatigue. Users prefer the proposed natural interface for broad movements and may complementarily switch to gizmos or virtual hands for finer adjustments. These findings are believed to contribute to design implications for future LLM-based object manipulation interfaces, highlighting the potential for more intuitive and efficient user interactions in VR environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL