Human not in the loop: objective sample difficulty measures for Curriculum Learning

要約

カリキュラム学習は、より簡単なサンプルからより難しいサンプルへと意味のある順序でモデルをトレーニングする学習方法です。
ここで重要なのは、サンプルの自動的かつ客観的な難易度測定を考案することです。
医療分野では、以前の研究では人間の専門家から得た分野の知識を適用して、医用画像の分類の難しさを定性的に評価し、カリキュラムの学習を導きました。これには、追加の注釈作業が必要であり、主観的な人間の経験に依存し、バイアスが導入される可能性があります。
この作業では、勾配の分散 (VoG) を使用してサンプルの客観的な難易度を計算し、X 線画像からの肘骨折分類への影響を評価する新しい自動カリキュラム学習手法を提案します。
具体的には、VoG をメトリックとして使用して、各サンプルを分類の難しさの観点からランク付けしました。VoG スコアが高いほど、分類がより困難なケースを示し、カリキュラムのトレーニング プロセスを導きます。提案された手法をベースライン (カリキュラム学習なし) と比較しました。
分類の難しさに関する人間の注釈と反カリキュラム学習を使用した以前の方法。
私たちの実験結果は、バイナリおよびマルチクラスの骨折分類タスクで同等のより高いパフォーマンスを示しました。

要約(オリジナル)

Curriculum learning is a learning method that trains models in a meaningful order from easier to harder samples. A key here is to devise automatic and objective difficulty measures of samples. In the medical domain, previous work applied domain knowledge from human experts to qualitatively assess classification difficulty of medical images to guide curriculum learning, which requires extra annotation efforts, relies on subjective human experience, and may introduce bias. In this work, we propose a new automated curriculum learning technique using the variance of gradients (VoG) to compute an objective difficulty measure of samples and evaluated its effects on elbow fracture classification from X-ray images. Specifically, we used VoG as a metric to rank each sample in terms of the classification difficulty, where high VoG scores indicate more difficult cases for classification, to guide the curriculum training process We compared the proposed technique to a baseline (without curriculum learning), a previous method that used human annotations on classification difficulty, and anti-curriculum learning. Our experiment results showed comparable and higher performance for the binary and multi-class bone fracture classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google