Thing2Reality: Transforming 2D Content into Conditioned Multiviews and 3D Gaussian Objects for XR Communication

要約

リモートコミュニケーション中、参加者は相互理解を高めるために、製品デザイン、デジタル資産、環境などのデジタルコンテンツと物理コンテンツの両方を共有することがよくあります。
最近の拡張通信の進歩により、ユーザーはビデオ フィードから物理オブジェクトのデジタル 2D コピーを迅速に作成し、共有スペースに共有できるようになりました。
しかし、デジタル オブジェクトの従来の 2D 表現では、共有没入型環境でユーザーがアイテムを空間的に参照する能力が制限されます。
これに対処するために、リモート セッション中にデジタルと物理的なアイテムの両方についての自発的なディスカッションを強化する拡張現実 (XR) コミュニケーション プラットフォームである Thing2Reality を提案します。
Thing2Reality を使用すると、ユーザーは没入型環境でアイデアや物理オブジェクトをすばやく実現し、それらを条件付きマルチビュー レンダリングまたは 3D ガウスとして共有できます。
Thing2Reality を使用すると、ユーザーはリモート オブジェクトと対話したり、協力して概念について話し合ったりできます。
私たちのユーザー調査により、オブジェクトの 3D 表現を操作して対話する機能により、ディスカッションの効率が大幅に向上し、2D アーティファクトのディスカッションが強化される可能性があることが明らかになりました。

要約(オリジナル)

During remote communication, participants often share both digital and physical content, such as product designs, digital assets, and environments, to enhance mutual understanding. Recent advances in augmented communication have facilitated users to swiftly create and share digital 2D copies of physical objects from video feeds into a shared space. However, conventional 2D representations of digital objects restricts users’ ability to spatially reference items in a shared immersive environment. To address this, we propose Thing2Reality, an Extended Reality (XR) communication platform that enhances spontaneous discussions of both digital and physical items during remote sessions. With Thing2Reality, users can quickly materialize ideas or physical objects in immersive environments and share them as conditioned multiview renderings or 3D Gaussians. Thing2Reality enables users to interact with remote objects or discuss concepts in a collaborative manner. Our user study revealed that the ability to interact with and manipulate 3D representations of objects significantly enhances the efficiency of discussions, with the potential to augment discussion of 2D artifacts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google