LaRI: Layered Ray Intersections for Single-view 3D Geometric Reasoning

要約

単一の画像から目に見えないジオメトリの推論のための新しい方法である層状光線交差点（LARI）を提示します。
可視表面に限定された従来の深度推定とは異なり、lariは、層状のポイントマップを使用してカメラ線と交差する複数の表面をモデル化します。
コンパクトで階層化された表現の恩恵を受けるLariは、オブジェクトレベルのタスクとシーンレベルのタスクを統合するために、完全で効率的でビューアライメントされた幾何学的推論を可能にします。
さらに、ラリの出力から有効な交差するピクセルとレイヤーを識別する光線停止インデックスを予測することを提案します。
必要なデータクリーニングステップとレンダリングエンジン間の調整により、3Dオブジェクトやシーンを含む合成および実世界のデータの完全なトレーニングデータ生成パイプラインを構築します。
一般的な方法として、Lariのパフォーマンスは2つのシナリオで検証されています。トレーニングデータの4％とパラメーターの17％を使用して、最近の大きな生成モデルに匹敵するオブジェクトレベルの結果を生成します。
一方、シーンレベルの閉塞されたジオメトリの推論は、1つのフィードフォワードのみで達成されます。

要約(オリジナル)

We present layered ray intersections (LaRI), a new method for unseen geometry reasoning from a single image. Unlike conventional depth estimation that is limited to the visible surface, LaRI models multiple surfaces intersected by the camera rays using layered point maps. Benefiting from the compact and layered representation, LaRI enables complete, efficient, and view-aligned geometric reasoning to unify object- and scene-level tasks. We further propose to predict the ray stopping index, which identifies valid intersecting pixels and layers from LaRI’s output. We build a complete training data generation pipeline for synthetic and real-world data, including 3D objects and scenes, with necessary data cleaning steps and coordination between rendering engines. As a generic method, LaRI’s performance is validated in two scenarios: It yields comparable object-level results to the recent large generative model using 4% of its training data and 17% of its parameters. Meanwhile, it achieves scene-level occluded geometry reasoning in only one feed-forward.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google