MetaComp: Learning to Adapt for Online Depth Completion

要約

深い教師あり学習または自己教師あり学習に依存して、ペアの単一画像と疎な深度データから深度を完成させるための以前の方法は、近年、印象的なパフォーマンスを達成しています。
ただし、テストデータがオンラインで発生し、RGB画像コンテンツと深度スパース性のトレーニングデータとは異なる新しい環境に直面すると、トレーニングされたモデルのパフォーマンスが大幅に低下する可能性があります。
訓練されたモデルがそのような状況でうまく機能することを奨励するために、私たちはそれが新しい環境に継続的かつ効果的に適応できることを期待しています。
これを実現するために、MetaCompを提案します。
メタ学習手法を利用して、トレーニングフェーズ中に適応ポリシーをシミュレートし、テスト時に自己監視方式でモデルを新しい環境に適応させます。
入力がマルチモーダルデータであることを考慮すると、2つのモーダルデータの構造と形式に大きな違いがあるため、モデルを2つのモダリティの変動に同時に適応させることは困難です。
したがって、基本的なメタ学習トレーニングの適応手順を2つのステップに解きほぐすことをさらに提案します。最初のステップは深度の希薄性に焦点を当て、2番目のステップは画像コンテンツに注目します。
テスト中、同じ戦略を使用して、モデルをオンラインで新しいマルチモーダルデータに適合させます。
実験結果と包括的なアブレーションは、MetaCompが新しい環境での深さの完了に効果的に適応し、さまざまなモダリティの変化にロバストであることを示しています。

要約(オリジナル)

Relying on deep supervised or self-supervised learning, previous methods for depth completion from paired single image and sparse depth data have achieved impressive performance in recent years. However, facing a new environment where the test data occurs online and differs from the training data in the RGB image content and depth sparsity, the trained model might suffer severe performance drop. To encourage the trained model to work well in such conditions, we expect it to be capable of adapting to the new environment continuously and effectively. To achieve this, we propose MetaComp. It utilizes the meta-learning technique to simulate adaptation policies during the training phase, and then adapts the model to new environments in a self-supervised manner in testing. Considering that the input is multi-modal data, it would be challenging to adapt a model to variations in two modalities simultaneously, due to significant differences in structure and form of the two modal data. Therefore, we further propose to disentangle the adaptation procedure in the basic meta-learning training into two steps, the first one focusing on the depth sparsity while the second attending to the image content. During testing, we take the same strategy to adapt the model online to new multi-modal data. Experimental results and comprehensive ablations show that our MetaComp is capable of adapting to the depth completion in a new environment effectively and robust to changes in different modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google