All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation

要約

擬似ラベルは、まばらなグラウンドトゥルース ラベルのみが学習に利用できる、弱く監視された 3D セグメンテーション タスクで広く使用されています。
既存の方法は、モデルのトレーニングに有益な擬似ラベルを生成するために、信頼度しきい値処理などの経験的なラベル選択戦略に依存することがよくあります。
ただし、このアプローチは、ラベルのないデータ ポイントの包括的な活用を妨げる可能性があります。
この選択的な使用は、ラベルのないデータに対して生成された擬似ラベルのノイズから生じると仮説を立てます。
疑似ラベルのノイズにより、疑似ラベルとモデルの予測の間に大きな不一致が生じる可能性があり、混乱が生じ、モデルのトレーニングに大きな影響を与える可能性があります。
この問題に対処するために、生成された擬似ラベルを正規化し、擬似ラベルとモデル予測の間のギャップを効果的に狭める新しい学習戦略を提案します。
より具体的には、私たちの方法では、3D セグメンテーション タスクの弱教師あり学習にエントロピー正則化損失と分布整合損失が導入され、その結果 ERDA 学習戦略が得られます。
興味深いことに、KL 距離を使用して分布アライメント損失を定式化すると、擬似ラベル生成ネットワークと 3D セグメンテーション ネットワークの両方を同時に最適化する、一見単純なクロスエントロピーベースの損失に減少します。
シンプルであるにもかかわらず、私たちの方法はパフォーマンスを向上させることが期待できます。
私たちは、さまざまなベースラインと大規模なデータセットに対する広範な実験を通じてその有効性を検証します。
結果は、ERDA がラベルなしのすべてのデータ ポイントを学習に効果的に使用できるようにし、さまざまな設定下で最先端のパフォーマンスを達成できることを示しています。
驚くべきことに、私たちの方法は、わずか 1% の真のアノテーションを使用する、完全に監視されたベースラインよりも優れたパフォーマンスを発揮します。
コードとモデルは https://github.com/LiyaoTang/ERDA で公開されます。

要約(オリジナル)

Pseudo-labels are widely employed in weakly supervised 3D segmentation tasks where only sparse ground-truth labels are available for learning. Existing methods often rely on empirical label selection strategies, such as confidence thresholding, to generate beneficial pseudo-labels for model training. This approach may, however, hinder the comprehensive exploitation of unlabeled data points. We hypothesize that this selective usage arises from the noise in pseudo-labels generated on unlabeled data. The noise in pseudo-labels may result in significant discrepancies between pseudo-labels and model predictions, thus confusing and affecting the model training greatly. To address this issue, we propose a novel learning strategy to regularize the generated pseudo-labels and effectively narrow the gaps between pseudo-labels and model predictions. More specifically, our method introduces an Entropy Regularization loss and a Distribution Alignment loss for weakly supervised learning in 3D segmentation tasks, resulting in an ERDA learning strategy. Interestingly, by using KL distance to formulate the distribution alignment loss, it reduces to a deceptively simple cross-entropy-based loss which optimizes both the pseudo-label generation network and the 3D segmentation network simultaneously. Despite the simplicity, our method promisingly improves the performance. We validate the effectiveness through extensive experiments on various baselines and large-scale datasets. Results show that ERDA effectively enables the effective usage of all unlabeled data points for learning and achieves state-of-the-art performance under different settings. Remarkably, our method can outperform fully-supervised baselines using only 1% of true annotations. Code and model will be made publicly available at https://github.com/LiyaoTang/ERDA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google