Spatial Reasoner: A 3D Inference Pipeline for XR Applications

要約

最新の拡張Reality XRシステムは、セマンティックな方法で3Dシーンについて推論できるセンサー入力と需要AR/VRアプリケーションの画像データと融合の豊富な分析を提供します。
3Dオブジェクトが互いにどのように配置されるかを決定するなどの重要なタスク（「オン」、「近く」など）を決定するなどの重要なタスクを処理するための象徴的な述語と関係を橋渡しする空間的推論フレームワークを提示します。
その基礎は、自然言語に関連する形式で表現されるトポロジーや接続性から方向性と方向性に至るまで、包括的な空間述語によって強化された、向きのある3D境界ボックス表現に依存しています。
導出された述語は、空間知識グラフを形成し、パイプラインベースの推論モデルと組み合わせて、空間クエリと動的ルール評価を有効にします。
クライアントおよびサーバー側の処理のための実装は、幾何学的データを実用的な知識に効率的に変換し、複雑な3D環境でのスケーラブルでテクノロジーに依存しない空間的推論を確保するフレームワークの機能を示しています。
空間的推論のフレームワークは、空間オントロジーの作成を促進し、XRアプリケーションで機械学習、自然言語処理、およびルールシステムとシームレスに統合されるため、豊かになります。

要約(オリジナル)

Modern extended reality XR systems provide rich analysis of image data and fusion of sensor input and demand AR/VR applications that can reason about 3D scenes in a semantic manner. We present a spatial reasoning framework that bridges geometric facts with symbolic predicates and relations to handle key tasks such as determining how 3D objects are arranged among each other (‘on’, ‘behind’, ‘near’, etc.). Its foundation relies on oriented 3D bounding box representations, enhanced by a comprehensive set of spatial predicates, ranging from topology and connectivity to directionality and orientation, expressed in a formalism related to natural language. The derived predicates form a spatial knowledge graph and, in combination with a pipeline-based inference model, enable spatial queries and dynamic rule evaluation. Implementations for client- and server-side processing demonstrate the framework’s capability to efficiently translate geometric data into actionable knowledge, ensuring scalable and technology-independent spatial reasoning in complex 3D environments. The Spatial Reasoner framework is fostering the creation of spatial ontologies, and seamlessly integrates with and therefore enriches machine learning, natural language processing, and rule systems in XR applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google