Test-Time Adaptation for Depth Completion

要約

一部の (ソース) データセットでトレーニングされたモデルをターゲットのテスト データに転送するときに、それらの間のドメイン ギャップによりパフォーマンスの低下が観察されるのが一般的です。
このギャップを埋めるための既存の方法 (ドメイン アダプテーション (DA) など) では、モデルがトレーニングされたソース データ (多くの場合利用できない) が必要になる場合がありますが、その他の方法 (ソースフリー DA) では、テスト データを何度もパススルーする必要があります。
我々は、単一の画像と関連する疎な深度マップから密な深度マップを推論するタスクである深度補完のためのオンラインテスト時適応方法を提案し、単一パスでパフォーマンスのギャップを埋めます。
まず、各データ モダリティにおけるドメインのシフトがモデルのパフォーマンスにどのような影響を与えるかについての研究を紹介します。
スパース深度モダリティが画像よりもはるかに小さい共変量シフトを示すという観察に基づいて、スパース深度のみをエンコードする特徴から、エンコード画像とスパース深度へのマッピングを保存するソース ドメインでトレーニングされた埋め込みモジュールを設計します。
テスト中に、このマップをソース ドメインの特徴のプロキシとして使用して疎な深さの特徴が投影され、一連の補助パラメータ (つまり、アダプテーション レイヤー) をトレーニングして、画像と疎な深さの特徴をターゲット テスト ドメインから
ソースドメインのもの。
屋内と屋外のシナリオでこの方法を評価したところ、ベースラインよりも平均 21.1% 改善されたことがわかりました。

要約(オリジナル)

It is common to observe performance degradation when transferring models trained on some (source) datasets to target testing data due to a domain gap between them. Existing methods for bridging this gap, such as domain adaptation (DA), may require the source data on which the model was trained (often not available), while others, i.e., source-free DA, require many passes through the testing data. We propose an online test-time adaptation method for depth completion, the task of inferring a dense depth map from a single image and associated sparse depth map, that closes the performance gap in a single pass. We first present a study on how the domain shift in each data modality affects model performance. Based on our observations that the sparse depth modality exhibits a much smaller covariate shift than the image, we design an embedding module trained in the source domain that preserves a mapping from features encoding only sparse depth to those encoding image and sparse depth. During test time, sparse depth features are projected using this map as a proxy for source domain features and are used as guidance to train a set of auxiliary parameters (i.e., adaptation layer) to align image and sparse depth features from the target test domain to that of the source domain. We evaluate our method on indoor and outdoor scenarios and show that it improves over baselines by an average of 21.1%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google