Learning from SAM: Harnessing a Foundation Model for Sim2Real Adaptation by Regularization

要約

ドメイン適応は、ターゲット ドメインのトレーニング データが通常不足しており、アノテーションの取得にコストがかかるロボット アプリケーションにとって特に重要です。
注釈付きのソースドメインデータ（合成生成など）は利用できるが、ターゲットドメインデータには完全に注釈が付けられていないシナリオ向けに、自己教師型ドメイン適応の方法を提案します。
私たちの方法はセマンティック セグメンテーション タスクを対象とし、セグメンテーション基盤モデル (セグメント何でもモデル) を活用して、注釈のないデータのセグメント情報を取得します。
教師なし局所特徴学習の最近の進歩からインスピレーションを得て、ターゲット ドメインの特徴表現を正規化するために、検出されたセグメントにわたる不変分散損失を提案します。
重要なことは、この損失構造とネットワーク アーキテクチャは、Segment Anything によって生成される重複セグメントや過剰セグメント化を処理できることです。
我々は、困難な YCB-Video および HomebrewedDB データセットに対してこの手法の利点を実証し、以前の研究よりも優れており、YCB-Video では実際のアノテーションでトレーニングされたネットワークさえも優れていることを示します。
さらに、モデルのアブレーションを通じて洞察を提供し、カスタム ロボット アプリケーションへの適用可能性を示します。

要約(オリジナル)

Domain adaptation is especially important for robotics applications, where target domain training data is usually scarce and annotations are costly to obtain. We present a method for self-supervised domain adaptation for the scenario where annotated source domain data (e.g. from synthetic generation) is available, but the target domain data is completely unannotated. Our method targets the semantic segmentation task and leverages a segmentation foundation model (Segment Anything Model) to obtain segment information on unannotated data. We take inspiration from recent advances in unsupervised local feature learning and propose an invariance-variance loss over the detected segments for regularizing feature representations in the target domain. Crucially, this loss structure and network architecture can handle overlapping segments and oversegmentation as produced by Segment Anything. We demonstrate the advantage of our method on the challenging YCB-Video and HomebrewedDB datasets and show that it outperforms prior work and, on YCB-Video, even a network trained with real annotations. Additionally, we provide insight through model ablations and show applicability to a custom robotic application.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google