Mixed-order self-paced curriculum learning for universal lesion detection

要約

自習型カリキュラム学習 (SCL) は、コンピューター ビジョン、自然言語処理などで大きな可能性を示しています。トレーニング中、データの難易度のオンライン推定に基づいて、イージーからハードまでのサンプリングを実装します。
ほとんどの SCL メソッドは、通常、データの難易度を推定し、初期のトレーニング段階で「ハード」サンプルの重みを減らすという損失ベースの戦略を採用しています。
さまざまなアプリケーションで成功を収める一方で、SCL は、不十分で高度にクラスの不均衡なデータを特徴とする普遍的な病変検出など、医用画像分析タスクで 2 つの課題に直面しています。(i) 損失ベースの難易度測定器は不正確です。
ii) ハード サンプルが減量メカニズムから十分に活用されていない。
これらの課題を克服するために、この論文では、新しい混合順序セルフペース カリキュラム学習 (Mo-SCL) メソッドを提案します。
不確実性と損失の両方を統合して、オンラインでの難易度をより適切に推定し、ハード サンプルとイージー サンプルの両方を同じミニバッチに混合して、ハード サンプルが十分に活用されていないという問題を適切に軽減します。
確率的勾配降下最適化のコンテキストでの方法の理論的調査と、ユニバーサル病変検出（ULD）のDeepLesionベンチマークデータセットに基づく広範な実験を提供します。
2 つの最先端の ULD メソッドに適用すると、提案された混合順序 SCL メソッドは、追加の特別なネットワーク設計なしで病変検出精度を無料で向上させることができます。

要約(オリジナル)

Self-paced curriculum learning (SCL) has demonstrated its great potential in computer vision, natural language processing, etc. During training, it implements easy-to-hard sampling based on online estimation of data difficulty. Most SCL methods commonly adopt a loss-based strategy of estimating data difficulty and deweighting the `hard’ samples in the early training stage. While achieving success in a variety of applications, SCL stills confront two challenges in a medical image analysis task, such as universal lesion detection, featuring insufficient and highly class-imbalanced data: (i) the loss-based difficulty measurer is inaccurate; ii) the hard samples are under-utilized from a deweighting mechanism. To overcome these challenges, in this paper we propose a novel mixed-order self-paced curriculum learning (Mo-SCL) method. We integrate both uncertainty and loss to better estimate difficulty online and mix both hard and easy samples in the same mini-batch to appropriately alleviate the problem of under-utilization of hard samples. We provide a theoretical investigation of our method in the context of stochastic gradient descent optimization and extensive experiments based on the DeepLesion benchmark dataset for universal lesion detection (ULD). When applied to two state-of-the-art ULD methods, the proposed mixed-order SCL method can provide a free boost to lesion detection accuracy without extra special network designs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google