Test-time augmentation-based active learning and self-training for label-efficient segmentation

要約

深層学習技術は大規模なデータセットに依存しており、そのアノテーションには時間がかかります。
アノテーションの負担を軽減するために、セルフ トレーニング (ST) およびアクティブ ラーニング (AL) 手法、およびそれらを反復的に組み合わせた手法が開発されています。
ただし、それぞれの方法がどのような場合に最も有用であるか、また、それらを組み合わせることがどのような場合に有利であるかは依然として不明です。
この論文では、Test-Time Augmentations (TTA) を使用して ST と AL を組み合わせた新しい手法を提案します。
まず、初期教師ネットワーク上で TTA が実行されます。
次に、最も低い推定ダイス スコアに基づいて、アノテーションの対象となるケースが選択されます。
推定スコアが高い症例は、ST のソフト疑似ラベルとして使用されます。
選択された注釈付きケースは、既存の注釈付きケースおよび境界スライス注釈付きの ST ケースを使用してトレーニングされます。
さまざまなデータ変動特性を備えた MRI 胎児体および胎盤セグメンテーション タスクに関する方法を示します。
私たちの結果は、ST が両方のタスクに対して非常に効果的であり、ディストリビューション内 (ID) およびディストリビューション外 (OOD) データのパフォーマンスを向上させることを示しています。
ただし、自己トレーニングによって AL と組み合わせた場合、単一シーケンスの胎児体セグメンテーションのパフォーマンスは向上しましたが、ID データに対する複数シーケンスの胎盤セグメンテーションのパフォーマンスはわずかに低下しました。
AL は変動性の高い胎盤データには役立ちましたが、単一シーケンスの身体データのランダム選択では改善されませんでした。
胎児体セグメンテーションシーケンス転送の場合、ST 反復後の AL と ST を組み合わせると、オリジナルのスキャンが 6 つと新しいシーケンスのスキャンが 2 つだけで、0.961 の Dice が得られました。
変動性の高い胎盤症例 15 例のみを使用した結果は、50 例を使用した結果と同様でした。
コードはhttps://github.com/Bella31/TTA-quality-estimation-ST-ALから入手できます。

要約(オリジナル)

Deep learning techniques depend on large datasets whose annotation is time-consuming. To reduce annotation burden, the self-training (ST) and active-learning (AL) methods have been developed as well as methods that combine them in an iterative fashion. However, it remains unclear when each method is the most useful, and when it is advantageous to combine them. In this paper, we propose a new method that combines ST with AL using Test-Time Augmentations (TTA). First, TTA is performed on an initial teacher network. Then, cases for annotation are selected based on the lowest estimated Dice score. Cases with high estimated scores are used as soft pseudo-labels for ST. The selected annotated cases are trained with existing annotated cases and ST cases with border slices annotations. We demonstrate the method on MRI fetal body and placenta segmentation tasks with different data variability characteristics. Our results indicate that ST is highly effective for both tasks, boosting performance for in-distribution (ID) and out-of-distribution (OOD) data. However, while self-training improved the performance of single-sequence fetal body segmentation when combined with AL, it slightly deteriorated performance of multi-sequence placenta segmentation on ID data. AL was helpful for the high variability placenta data, but did not improve upon random selection for the single-sequence body data. For fetal body segmentation sequence transfer, combining AL with ST following ST iteration yielded a Dice of 0.961 with only 6 original scans and 2 new sequence scans. Results using only 15 high-variability placenta cases were similar to those using 50 cases. Code is available at: https://github.com/Bella31/TTA-quality-estimation-ST-AL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google