THE Benchmark: Transferable Representation Learning for Monocular Height Estimation

要約

3D 都市モデルを迅速に生成することは、多くのアプリケーションにとって重要です。
単眼の高さの推定は、大規模な幾何学的情報を取得する最も効率的かつタイムリーな方法の 1 つです。
ただし、既存の研究は主に不偏データセットを使用したモデルのトレーニングとテストに焦点を当てており、現実世界のアプリケーションとうまく適合していません。
したがって、クロスデータセット設定における高さ推定モデルの移転可能性を研究するための新しいベンチマーク データセットを提案します。
この目的を達成するために、まず高さ推定タスクに関するデータセット間転移学習のための大規模ベンチマーク データセットを設計および構築します。
このベンチマーク データセットには、新しく提案された大規模な合成データセット、新しく収集された現実世界のデータセット、およびさまざまな都市からの 4 つの既存のデータセットが含まれています。
次に、新しい実験プロトコルである少数ショットのクロスデータセット転送が設計されます。
さらに、この論文では、高さ推定タスクにおけるスケール変動問題を処理するためにウィンドウベースのTransformerを強化するために、スケール変形可能な畳み込みモジュールを提案します。
実験結果は、従来の転送設定およびデータセット間転送設定における提案された方法の有効性を実証しました。
データセットとコードは、https://mediatum.ub.tum.de/1662763 および https://thebenchmarkh.github.io/ で公開されています。

要約(オリジナル)

Generating 3D city models rapidly is crucial for many applications. Monocular height estimation is one of the most efficient and timely ways to obtain large-scale geometric information. However, existing works focus primarily on training and testing models using unbiased datasets, which does not align well with real-world applications. Therefore, we propose a new benchmark dataset to study the transferability of height estimation models in a cross-dataset setting. To this end, we first design and construct a large-scale benchmark dataset for cross-dataset transfer learning on the height estimation task. This benchmark dataset includes a newly proposed large-scale synthetic dataset, a newly collected real-world dataset, and four existing datasets from different cities. Next, a new experimental protocol, few-shot cross-dataset transfer, is designed. Furthermore, in this paper, we propose a scale-deformable convolution module to enhance the window-based Transformer for handling the scale-variation problem in the height estimation task. Experimental results have demonstrated the effectiveness of the proposed methods in the traditional and cross-dataset transfer settings. The datasets and codes are publicly available at https://mediatum.ub.tum.de/1662763 and https://thebenchmarkh.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google