Test-time adaptation with slot-centric models

要約

現在の教師付き視覚検出器は、トレーニング分布内では印象的ですが、分布外のシーンを構成エンティティに分割できないことがよくあります。
最近のテスト時間適応方法は、補助的な自己教師付き損失を使用して、ネットワーク パラメーターを各テスト例に個別に適応させ、画像分類タスクのトレーニング分布外での一般化に向けて有望な結果を示しています。
私たちの仕事では、これらの損失は、アーキテクチャの誘導バイアスも考慮せずに、インスタンスのセグメンテーション タスクには不十分である可能性があるという証拠を見つけました。
画像セグメンテーションの場合、最近のスロット中心の生成モデルは、ピクセルを再構築することにより、自己管理された方法でシーンをエンティティに分割しようとすることで、そのような監視への依存を断ち切ります。
これら 2 つの作業ラインを利用して、スロット中心の誘導バイアスを備えた半教師付きインスタンス セグメンテーション モデルである Slot-TTA を提案します。これは、再構成または新しいビュー合成目的での勾配降下を通じて、テスト時にシーンごとに適応されます。
Slot-TTA でのテスト時間の適応により、配信外のシーンでのインスタンスのセグメンテーションが大幅に改善されることを示します。
いくつかの 3D および 2D シーン インスタンス セグメンテーション ベンチマークで Slot-TTA を評価し、最先端の教師ありフィード フォワード検出器および自己教師ありテスト時間適応法に対して、実質的な分布外パフォーマンスの改善を示します。

要約(オリジナル)

Current supervised visual detectors, though impressive within their training distribution, often fail to segment out-of-distribution scenes into their constituent entities. Recent test-time adaptation methods use auxiliary self-supervised losses to adapt the network parameters to each test example independently and have shown promising results towards generalization outside the training distribution for the task of image classification. In our work, we find evidence that these losses can be insufficient for instance segmentation tasks, without also considering architectural inductive biases. For image segmentation, recent slot-centric generative models break such dependence on supervision by attempting to segment scenes into entities in a self-supervised manner by reconstructing pixels. Drawing upon these two lines of work, we propose Slot-TTA, a semi-supervised instance segmentation model equipped with a slot-centric inductive bias, that is adapted per scene at test time through gradient descent on reconstruction or novel view synthesis objectives. We show that test-time adaptation in Slot-TTA greatly improves instance segmentation in out-of-distribution scenes. We evaluate Slot-TTA in several 3D and 2D scene instance segmentation benchmarks and show substantial out-of-distribution performance improvements against state-of-the-art supervised feed-forward detectors and self-supervised test-time adaptation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google