Multi-source Pseudo-label Learning of Semantic Segmentation for the Scene Recognition of Agricultural Mobile Robots

要約

この論文では、ターゲットの温室環境とは異なる屋外シーンの公開データセットを活用して、農業用移動ロボットのシーン認識のためのセマンティック セグメンテーション モデルをトレーニングする新しい方法について説明します。
セマンティック セグメンテーション モデルでは、面倒な手動の注釈によって大量のラベルを付ける必要があります。
これを回避する方法は、ラベル付けされたソース データセットからラベル付けされていないターゲット データセットに知識を転送する教師なしドメイン適応 (UDA) です。
ただし、既存の方法の有効性は、都市のシーンや温室などの異種環境間の適応において十分に研究されていません。
この論文では、温室画像の手動でラベル付けされたデータセットを使用せずに、温室画像のセマンティック セグメンテーション モデルをトレーニングする方法を提案します。
私たちのアイデアの核心は、セグメンテーション ラベルを持つさまざまな環境の複数の豊富な画像データセットを使用してターゲット画像の疑似ラベルを生成し、複数のソースから知識を効果的に転送し、セマンティック セグメンテーションの正確なトレーニングを実現することです。
疑似ラベルの生成に加えて、疑似ラベルのノイズを処理する最先端の方法を導入して、パフォーマンスをさらに向上させます。
複数の温室データセットを使用した実験で、提案された方法が単一ソースのベースラインおよび既存のアプローチと比較してパフォーマンスを向上させることを示しています。

要約(オリジナル)

This paper describes a novel method of training a semantic segmentation model for scene recognition of agricultural mobile robots exploiting publicly available datasets of outdoor scenes that are different from the target greenhouse environments. Semantic segmentation models require abundant labels given by tedious manual annotation. A method to work around it is unsupervised domain adaptation (UDA) that transfers knowledge from labeled source datasets to unlabeled target datasets. However, the effectiveness of existing methods is not well studied in adaptation between heterogeneous environments, such as urban scenes and greenhouses. In this paper, we propose a method to train a semantic segmentation model for greenhouse images without manually labeled datasets of greenhouse images. The core of our idea is to use multiple rich image datasets of different environments with segmentation labels to generate pseudo-labels for the target images to effectively transfer the knowledge from multiple sources and realize a precise training of semantic segmentation. Along with the pseudo-label generation, we introduce state-of-the-art methods to deal with noise in the pseudo-labels to further improve the performance. We demonstrate in experiments with multiple greenhouse datasets that our proposed method improves the performance compared to the single-source baselines and an existing approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google