TerrainMesh: Metric-Semantic Terrain Reconstruction from Aerial Images Using Joint 2D-3D Learning

要約

この論文では、航空機から取得した RGB 画像を使用した屋外の地形マッピングについて検討します。
フィーチャベースの位置特定およびマッピング技術は、リアルタイムの車両オドメトリと疎なキーポイント深度の再構築を実現しますが、環境ジオメトリとセマンティクス (植生、建物など) の密なモデルは、通常、大量の計算とストレージを使用してオフラインで復元されます。
この論文では、ビジュアル オドメトリ アルゴリズムによって維持される各カメラ キーフレームでローカル メトリック セマンティック メッシュを再構築するための 2D-3D 共同学習アプローチを開発します。
推定されたカメラの軌道を考慮すると、ローカル メッシュをグローバル環境モデルに組み立てて、オンライン操作中に地形トポロジとセマンティクスをキャプチャできます。
ローカル メッシュは、初期化および改良段階を使用して再構築されます。
初期化段階では、頂点の重心座標を疎なキーポイントの深さの測定値に関連付ける最小二乗問題を解くことによって、メッシュの頂点の標高を推定します。
改良段階では、カメラ投影を使用して 2D 画像とセマンティック特徴を 3D メッシュ頂点に関連付け、グラフ畳み込みを適用して、2D と 3D の共同監視に基づいてメッシュ頂点の空間座標とセマンティック特徴を改良します。
実際の航空画像を使用した定量的および定性的評価は、環境モニタリングおよび監視アプリケーションをサポートする当社の手法の可能性を示しています。

要約(オリジナル)

This paper considers outdoor terrain mapping using RGB images obtained from an aerial vehicle. While feature-based localization and mapping techniques deliver real-time vehicle odometry and sparse keypoint depth reconstruction, a dense model of the environment geometry and semantics (vegetation, buildings, etc.) is usually recovered offline with significant computation and storage. This paper develops a joint 2D-3D learning approach to reconstruct a local metric-semantic mesh at each camera keyframe maintained by a visual odometry algorithm. Given the estimated camera trajectory, the local meshes can be assembled into a global environment model to capture the terrain topology and semantics during online operation. A local mesh is reconstructed using an initialization and refinement stage. In the initialization stage, we estimate the mesh vertex elevation by solving a least squares problem relating the vertex barycentric coordinates to the sparse keypoint depth measurements. In the refinement stage, we associate 2D image and semantic features with the 3D mesh vertices using camera projection and apply graph convolution to refine the mesh vertex spatial coordinates and semantic features based on joint 2D and 3D supervision. Quantitative and qualitative evaluation using real aerial images show the potential of our method to support environmental monitoring and surveillance applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google