Semantic Self-adaptation: Enhancing Generalization with a Single Sample

要約

ドメイン外の一般化の欠如は、セマンティック セグメンテーションにおけるディープ ネットワークの重大な弱点です。
以前の研究は静的モデルの仮定に依存していました。
つまり、トレーニング プロセスが完了すると、モデル パラメーターはテスト時に固定されたままになります。
この研究では、各入力サンプルに合わせて推論プロセスを調整するセマンティック セグメンテーションの自己適応型アプローチを使用して、この前提に挑戦します。
自己適応は 2 つのレベルで機能します。
まず、一貫性正則化を使用して、畳み込み層のパラメーターを入力画像に合わせて微調整します。
2 番目に、バッチ正規化レイヤーでは、自己適応によってトレーニング分布と単一のテスト サンプルから導出された参照分布の間が補間されます。
どちらの手法も文献でよく知られているにもかかわらず、それらを組み合わせることで、合成から実への一般化ベンチマークで新しい最先端の精度が確立されます。
私たちの実証研究は、自己適応が、ドメイン外データに対するディープ ネットワークの一般化を改善するために、トレーニング時に確立されたモデルの正則化の実践を補完する可能性があることを示唆しています。
私たちのコードと事前トレーニングされたモデルは https://github.com/visinf/self-adaptive で入手できます。

要約(オリジナル)

The lack of out-of-domain generalization is a critical weakness of deep networks for semantic segmentation. Previous studies relied on the assumption of a static model, i. e., once the training process is complete, model parameters remain fixed at test time. In this work, we challenge this premise with a self-adaptive approach for semantic segmentation that adjusts the inference process to each input sample. Self-adaptation operates on two levels. First, it fine-tunes the parameters of convolutional layers to the input image using consistency regularization. Second, in Batch Normalization layers, self-adaptation interpolates between the training and the reference distribution derived from a single test sample. Despite both techniques being well known in the literature, their combination sets new state-of-the-art accuracy on synthetic-to-real generalization benchmarks. Our empirical study suggests that self-adaptation may complement the established practice of model regularization at training time for improving deep network generalization to out-of-domain data. Our code and pre-trained models are available at https://github.com/visinf/self-adaptive.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google