SGFormer: Satellite-Ground Fusion for 3D Semantic Scene Completion

要約

最近、カメラベースのソリューションがシーンセマンティック完了（SSC）について広範囲に調査されています。
目に見える領域での成功にもかかわらず、既存の方法は、頻繁な視覚閉塞のために完全なシーンセマンティクスをキャプチャするのに苦労しています。
この制限に対処するために、このペーパーでは、最初の衛星地面協同組合SSCフレームワーク、つまりSGFormerを紹介し、SSCタスクの衛星地面画像ペアの可能性を調査します。
具体的には、直交衛星と地上ビューを並行して統合するデュアルブランチアーキテクチャを提案し、それらを共通のドメインに統合します。
さらに、機能エンコーディング中に衛星画像バイアスを修正するグラウンドビューガイダンス戦略を設計し、衛星ビューとグラウンドビューの間の不整合に対処します。
さらに、衛星と地上ビューからの貢献のバランスをとる適応重み付け戦略を開発します。
実験は、SGFORMERがSemantickittiおよびSSCBench-Kitti-360データセットの最新技術を上回ることを示しています。
私たちのコードは、https：//github.com/gxytcrc/sgformerで入手できます。

要約(オリジナル)

Recently, camera-based solutions have been extensively explored for scene semantic completion (SSC). Despite their success in visible areas, existing methods struggle to capture complete scene semantics due to frequent visual occlusions. To address this limitation, this paper presents the first satellite-ground cooperative SSC framework, i.e., SGFormer, exploring the potential of satellite-ground image pairs in the SSC task. Specifically, we propose a dual-branch architecture that encodes orthogonal satellite and ground views in parallel, unifying them into a common domain. Additionally, we design a ground-view guidance strategy that corrects satellite image biases during feature encoding, addressing misalignment between satellite and ground views. Moreover, we develop an adaptive weighting strategy that balances contributions from satellite and ground views. Experiments demonstrate that SGFormer outperforms the state of the art on SemanticKITTI and SSCBench-KITTI-360 datasets. Our code is available on https://github.com/gxytcrc/SGFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google