Unseen Object Instance Segmentation with Fully Test-time RGB-D Embeddings Adaptation

要約

操作中に新しい環境に遭遇する可能性があるため、目に見えないオブジェクトをセグメント化することは、ロボットにとって重要な機能です。
最近、一般的なソリューションは、大規模な合成データの RGB-D 機能を活用し、目に見えない現実世界のシナリオにモデルを直接適用することです。
ただし、sim2real ギャップによって引き起こされるドメイン シフトは避けられず、セグメンテーション モデルに重大な課題をもたらします。
このホワイト ペーパーでは、sim2real ドメイン全体の適応プロセスを強調し、シミュレーションでトレーニングされたモデルの BatchNorm パラメーターに関する学習問題としてモデル化します。
具体的には、新しいノンパラメトリック エントロピー目標を提案します。これは、オープンワールドの方法でテスト時間適応の学習目標を定式化します。
次に、クロスモダリティの知識蒸留目標は、機能強化のためのテスト時間の知識伝達を促進するようにさらに設計されています。
私たちのアプローチは、注釈を付けたり、大規模な合成トレーニング データを再検討したりすることなく、テスト画像のみで効率的に実装できます。
大幅な時間の節約に加えて、提案された方法は、オーバーラップおよび境界メトリックのセグメンテーション結果を一貫して改善し、目に見えないオブジェクト インスタンスのセグメンテーションで最先端のパフォーマンスを達成します。

要約(オリジナル)

Segmenting unseen objects is a crucial ability for the robot since it may encounter new environments during the operation. Recently, a popular solution is leveraging RGB-D features of large-scale synthetic data and directly applying the model to unseen real-world scenarios. However, the domain shift caused by the sim2real gap is inevitable, posing a crucial challenge to the segmentation model. In this paper, we emphasize the adaptation process across sim2real domains and model it as a learning problem on the BatchNorm parameters of a simulation-trained model. Specifically, we propose a novel non-parametric entropy objective, which formulates the learning objective for the test-time adaptation in an open-world manner. Then, a cross-modality knowledge distillation objective is further designed to encourage the test-time knowledge transfer for feature enhancement. Our approach can be efficiently implemented with only test images, without requiring annotations or revisiting the large-scale synthetic training data. Besides significant time savings, the proposed method consistently improves segmentation results on the overlap and boundary metrics, achieving state-of-the-art performance on unseen object instance segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google