VR-GPT: Visual Language Model for Intelligent Virtual Reality Applications

要約

没入型仮想現実アプリケーションの出現により、さまざまな領域が変革されましたが、視覚言語モデルなどの高度な人工知能テクノロジとの統合は依然として十分に検討されていません。
この研究では、VR 環境内で VLM を利用してユーザー インタラクションとタスクの効率を向上させる先駆的なアプローチを紹介します。
Unity エンジンとカスタム開発された VLM を活用する当社のシステムは、視覚的なテキスト指示に依存することなく、自然言語処理を通じてリアルタイムで直感的なユーザー インタラクションを促進します。
Speech-to-Text および Text-to-Speech テクノロジの組み込みにより、ユーザーと VLM 間のシームレスな通信が可能になり、システムが複雑なタスクを効果的にユーザーにガイドできるようになります。
予備的な実験結果では、VLM を利用すると、従来の VR インタラクション方法と比較して、タスクの完了時間が短縮されるだけでなく、ユーザーの快適性とタスクへの関与が向上することが示されています。

要約(オリジナル)

The advent of immersive Virtual Reality applications has transformed various domains, yet their integration with advanced artificial intelligence technologies like Visual Language Models remains underexplored. This study introduces a pioneering approach utilizing VLMs within VR environments to enhance user interaction and task efficiency. Leveraging the Unity engine and a custom-developed VLM, our system facilitates real-time, intuitive user interactions through natural language processing, without relying on visual text instructions. The incorporation of speech-to-text and text-to-speech technologies allows for seamless communication between the user and the VLM, enabling the system to guide users through complex tasks effectively. Preliminary experimental results indicate that utilizing VLMs not only reduces task completion times but also improves user comfort and task engagement compared to traditional VR interaction methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google