RAFT: Robust Augmentation of FeaTures for Image Segmentation

要約

画像セグメンテーションは、シーンの理解のための強力なコンピュータービジョン技術です。
ただし、現実世界の展開は、高品質で細心の注意を払ってラベル付けされたデータセットの必要性によって阻害されます。
合成データは、手動のデータ収集と注釈の必要性を減らしながら、高品質のラベルを提供します。
ただし、合成データでトレーニングされた深いニューラルネットワークは、多くの場合、Syn2realの問題に直面しているため、現実世界の展開のパフォーマンスが低下します。
画像セグメンテーションの前述のギャップを緩和するために、データと機能の増強とアクティブ学習を介した最小限の実世界データを使用して、画像セグメンテーションモデルを適応させるための新しいフレームワークであるRaftを提案します。
RAFTを検証するために、合成から現実的な「Synthia-> Cityscapes」および「GTAV-> Cityscapes」ベンチマークの実験を実行します。
私たちはなんとか以前の最先端のハローを上回りました。
Synthia-> Cityscapesは、2.1％/79.9％のドメイン適応によりMIOU*の改善を経験し、GTAV-> CityscapesはMIOUで0.4％/78.2％の改善を経験します。
さらに、「Cityscapes-> ACDC」の実際のベンチマークでアプローチをテストし、再びHaloを上回り、1.3％/73.2％の適応時にMIOUの利益を上げます。
最後に、最終的な移籍MIOUでの割り当てられた注釈予算とRAFTのさまざまなコンポーネントの効果を調べます。

要約(オリジナル)

Image segmentation is a powerful computer vision technique for scene understanding. However, real-world deployment is stymied by the need for high-quality, meticulously labeled datasets. Synthetic data provides high-quality labels while reducing the need for manual data collection and annotation. However, deep neural networks trained on synthetic data often face the Syn2Real problem, leading to poor performance in real-world deployments. To mitigate the aforementioned gap in image segmentation, we propose RAFT, a novel framework for adapting image segmentation models using minimal labeled real-world data through data and feature augmentations, as well as active learning. To validate RAFT, we perform experiments on the synthetic-to-real ‘SYNTHIA->Cityscapes’ and ‘GTAV->Cityscapes’ benchmarks. We managed to surpass the previous state of the art, HALO. SYNTHIA->Cityscapes experiences an improvement in mIoU* upon domain adaptation of 2.1%/79.9%, and GTAV->Cityscapes experiences a 0.4%/78.2% improvement in mIoU. Furthermore, we test our approach on the real-to-real benchmark of ‘Cityscapes->ACDC’, and again surpass HALO, with a gain in mIoU upon adaptation of 1.3%/73.2%. Finally, we examine the effect of the allocated annotation budget and various components of RAFT upon the final transfer mIoU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google