Test-Time Adaptation for Depth Completion

要約

ある（ソース）データセットで学習したモデルをターゲットのテストデータに転送する際、両データセット間のドメインギャップにより性能が低下することがよくある。このギャップを埋めるための既存の手法、例えばドメイン適応（DA）は、モデルが学習されたソースデータを必要とする場合がある（しばしば利用できない）。我々は、単一の画像と関連する疎な深度マップから密な深度マップを推測するタスクである深度補完のためのオンラインテスト時間適応法を提案する。まず、各データモダリティのドメインシフトがモデルの性能にどのように影響するかについての研究を示す。疎な奥行きモダリティは画像よりもはるかに小さな共変量シフトを示すという我々の観察に基づき、我々は、疎な奥行きのみを符号化する特徴から画像と疎な奥行きを符号化する特徴へのマッピングを保持する、ソース領域で訓練された埋め込みモジュールを設計する。テスト時間中、スパース深度特徴は、ソースドメイン特徴の代理としてこのマップを使用して投影され、ターゲットテストドメインからの画像とスパース深度特徴をソースドメインの特徴に整合させるための補助パラメータセット（すなわち、適応層）を訓練するためのガイダンスとして使用される。本手法を屋内と屋外のシナリオで評価し、ベースラインよりも平均21.1%改善することを示す。

要約(オリジナル)

It is common to observe performance degradation when transferring models trained on some (source) datasets to target testing data due to a domain gap between them. Existing methods for bridging this gap, such as domain adaptation (DA), may require the source data on which the model was trained (often not available), while others, i.e., source-free DA, require many passes through the testing data. We propose an online test-time adaptation method for depth completion, the task of inferring a dense depth map from a single image and associated sparse depth map, that closes the performance gap in a single pass. We first present a study on how the domain shift in each data modality affects model performance. Based on our observations that the sparse depth modality exhibits a much smaller covariate shift than the image, we design an embedding module trained in the source domain that preserves a mapping from features encoding only sparse depth to those encoding image and sparse depth. During test time, sparse depth features are projected using this map as a proxy for source domain features and are used as guidance to train a set of auxiliary parameters (i.e., adaptation layer) to align image and sparse depth features from the target test domain to that of the source domain. We evaluate our method on indoor and outdoor scenarios and show that it improves over baselines by an average of 21.1%.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL