Paced-Curriculum Distillation with Prediction and Label Uncertainty for Image Segmentation

要約

目的: カリキュラム学習では、最初に簡単なサンプルでトレーニングし、徐々に難易度を上げていきますが、マイペース学習では、ペーシング関数がトレーニングの進行状況に適応する速度を定義します。
どちらの方法もデータ サンプルの難易度をスコアリングする機能に大きく依存していますが、最適なスコアリング関数はまだ調査中です。
方法論: 蒸留法は、一連の無作為サンプルを供給することによって、教師ネットワークが生徒ネットワークを導く知識伝達アプローチです。
効率的なカリキュラム戦略で学生ネットワークを導くことで、モデルの一般化と堅牢性が向上すると主張しています。
この目的のために、医療画像セグメンテーションの自己蒸留における不確実性ベースのペースのカリキュラム学習を設計します。
予測の不確実性と注釈境界の不確実性を融合して、新しいペースカリキュラム蒸留（PCD）を開発します。
教師モデルを利用して、予測の不確実性と、ガウス カーネルを使用した空間的に変化するラベルの平滑化を取得して、注釈からセグメンテーション境界の不確実性を生成します。
また、さまざまな種類と重大度の画像の摂動と破損を適用することにより、この方法の堅牢性を調査します。
結果: 提案された手法は、乳房超音波画像のセグメンテーションとロボット支援手術シーンのセグメンテーションの 2 つの医療データセットで検証され、セグメンテーションと堅牢性の面で大幅に優れたパフォーマンスを達成しました。
結論: P-CD はパフォーマンスを向上させ、データセットのシフトに対してより優れた一般化とロバスト性を実現します。
カリキュラムの学習では、ペーシング機能のハイパーパラメーターを大幅に調整する必要がありますが、パフォーマンスの向上レベルにより、この制限が抑制されます。

要約(オリジナル)

Purpose: In curriculum learning, the idea is to train on easier samples first and gradually increase the difficulty, while in self-paced learning, a pacing function defines the speed to adapt the training progress. While both methods heavily rely on the ability to score the difficulty of data samples, an optimal scoring function is still under exploration. Methodology: Distillation is a knowledge transfer approach where a teacher network guides a student network by feeding a sequence of random samples. We argue that guiding student networks with an efficient curriculum strategy can improve model generalization and robustness. For this purpose, we design an uncertainty-based paced curriculum learning in self distillation for medical image segmentation. We fuse the prediction uncertainty and annotation boundary uncertainty to develop a novel paced-curriculum distillation (PCD). We utilize the teacher model to obtain prediction uncertainty and spatially varying label smoothing with Gaussian kernel to generate segmentation boundary uncertainty from the annotation. We also investigate the robustness of our method by applying various types and severity of image perturbation and corruption. Results: The proposed technique is validated on two medical datasets of breast ultrasound image segmentation and robotassisted surgical scene segmentation and achieved significantly better performance in terms of segmentation and robustness. Conclusion: P-CD improves the performance and obtains better generalization and robustness over the dataset shift. While curriculum learning requires extensive tuning of hyper-parameters for pacing function, the level of performance improvement suppresses this limitation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google