Unsupervised Scene Adaptation with Memory Regularization in vivo

要約

我々は、ラベル付けされたソースデータとラベル付けされていないターゲットデータの両方から学習する教師なしシーン適応問題を考察する。既存の手法は、ソースとターゲットのドメイン間ギャップを最小化することに重点を置いている。しかし、ネットワークによって学習されるドメイン内知識と固有の不確実性については、十分に検討されていない。本論文では、ドメイン内知識を利用し、モデル学習を正則化するために、生体内メモリ正則化と呼ばれる直交する手法を提案する。具体的には、セグメンテーションモデル自体をメモリモジュールと呼び、2つの分類器、すなわち、主分類器と補助分類器の不一致をマイナー化し、予測矛盾を低減させる。提案手法は余分なパラメータを必要としないため，既存の領域適合手法と補完的な関係にあり，一般に既存手法の性能を向上させることができる．単純ではあるが、我々は2つの合成-実数ベンチマークでメモリ正則化の有効性を検証する。GTA5 -> CityscapesとSYNTHIA -> Cityscapesでは、ベースラインモデルに対してそれぞれ+11.1%と+11.3%のmIoU向上が得られた。また、都市間ベンチマークでも同様に+12.0%のmIoU向上が確認されました。Cityscapes -> Oxford RobotCar。

要約(オリジナル)

We consider the unsupervised scene adaptation problem of learning from both labeled source data and unlabeled target data. Existing methods focus on minoring the inter-domain gap between the source and target domains. However, the intra-domain knowledge and inherent uncertainty learned by the network are under-explored. In this paper, we propose an orthogonal method, called memory regularization in vivo to exploit the intra-domain knowledge and regularize the model training. Specifically, we refer to the segmentation model itself as the memory module, and minor the discrepancy of the two classifiers, i.e., the primary classifier and the auxiliary classifier, to reduce the prediction inconsistency. Without extra parameters, the proposed method is complementary to the most existing domain adaptation methods and could generally improve the performance of existing methods. Albeit simple, we verify the effectiveness of memory regularization on two synthetic-to-real benchmarks: GTA5 -> Cityscapes and SYNTHIA -> Cityscapes, yielding +11.1% and +11.3% mIoU improvement over the baseline model, respectively. Besides, a similar +12.0% mIoU improvement is observed on the cross-city benchmark: Cityscapes -> Oxford RobotCar.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL