Towards Modality-agnostic Label-efficient Segmentation with Entropy-Regularized Distribution Alignment

要約

ラベル効率の良いセグメンテーションは、トレーニングにまばらで限られたグラウンドトゥルース ラベルのみを使用して、入力データに対して効果的なセグメンテーションを実行することを目的としています。
このトピックは、点群に高密度に注釈を付けるのが難しいため、3D 点群セグメンテーションで広く研究されていますが、2D 画像でのコスト効率の高いセグメンテーションにも不可欠です。
最近まで、擬似ラベルは、限られたグラウンドトゥルース ラベルによるトレーニングを容易にするために広く使用されており、2D セグメンテーションと 3D セグメンテーションの両方で有望な進歩が見られています。
ただし、既存の擬似ラベル付けアプローチは、ラベル付けされていないデータのノイズや変動の影響を大きく受ける可能性があり、その結果、生成された擬似ラベルとトレーニング中に現在のモデルの予測の間に大きな矛盾が生じる可能性があります。
私たちは、これがモデル学習プロセスをさらに混乱させ、影響を与える可能性があると分析しています。これは、2D モダリティと 3D モダリティの両方にわたるラベル効率的な学習における共通の問題であることが示されています。
この問題に対処するために、トレーニング用に生成された擬似ラベルを正規化し、擬似ラベルとモデル予測の間のギャップを効果的に狭める新しい学習戦略を提案します。
より具体的には、私たちの方法では、ラベル効率の良い学習のためにエントロピー正則化損失と分布調整損失を導入し、結果として ERDA 学習戦略が得られます。
興味深いことに、KL 距離を使用して分布アライメント損失を定式化することにより、ERDA は、擬似ラベル生成モジュールとセグメンテーション モデルの両方を同時に最適化する、一見単純なクロスエントロピー ベースの損失に減少します。
さらに、疑似ラベル生成においても革新を行い、ERDA が 2D と 3D の両方のデータ モダリティで一貫して効果的なセグメンテーションを実現します。
シンプルさとモダリティに依存しない疑似ラベル生成を享受する私たちの方法は、ラベルのないすべてのデータポイントをトレーニングに完全に活用する際に優れたパフォーマンスを示しました。

要約(オリジナル)

Label-efficient segmentation aims to perform effective segmentation on input data using only sparse and limited ground-truth labels for training. This topic is widely studied in 3D point cloud segmentation due to the difficulty of annotating point clouds densely, while it is also essential for cost-effective segmentation on 2D images. Until recently, pseudo-labels have been widely employed to facilitate training with limited ground-truth labels, and promising progress has been witnessed in both the 2D and 3D segmentation. However, existing pseudo-labeling approaches could suffer heavily from the noises and variations in unlabelled data, which would result in significant discrepancies between generated pseudo-labels and current model predictions during training. We analyze that this can further confuse and affect the model learning process, which shows to be a shared problem in label-efficient learning across both 2D and 3D modalities. To address this issue, we propose a novel learning strategy to regularize the pseudo-labels generated for training, thus effectively narrowing the gaps between pseudo-labels and model predictions. More specifically, our method introduces an Entropy Regularization loss and a Distribution Alignment loss for label-efficient learning, resulting in an ERDA learning strategy. Interestingly, by using KL distance to formulate the distribution alignment loss, ERDA reduces to a deceptively simple cross-entropy-based loss which optimizes both the pseudo-label generation module and the segmentation model simultaneously. In addition, we innovate in the pseudo-label generation to make our ERDA consistently effective across both 2D and 3D data modalities for segmentation. Enjoying simplicity and more modality-agnostic pseudo-label generation, our method has shown outstanding performance in fully utilizing all unlabeled data points for training across …

arxiv情報

提供元, 利用サービス

arxiv.jp, Google