Did You Get What You Paid For? Rethinking Annotation Cost of Deep Learning Based Computer Aided Detection in Chest Radiographs

要約

深いネットワークには正確にラベル付けされた大量のトレーニング データが必要であるため、十分に大きく正確な注釈を収集する戦略は、認識方法の革新と同じくらい重要です。
これは、X 線画像の異常の存在と位置に注釈を付けるために放射線科医の専門知識が必要な胸部 X 線用のコンピューター支援検出 (CAD) システムを構築する場合に特に当てはまります。
ただし、結果として得られる CAD システムが望ましいパフォーマンスに達するように、データ注釈に割り当てるリソースの量に関するガイダンスを提供する具体的な証拠はありません。
この知識がなければ、実務家は多くの場合、できるだけ多くのデータについてできるだけ多くの詳細を収集するという戦略に頼りますが、これはコスト効率が悪くなります。
この作業では、データ注釈のコストが最終的に、正面 X 線画像の胸部異常の分類とセグメンテーションにおける CAD モデルのパフォーマンスにどのように影響するかを調査します。
ラベルの量、品質、粒度の 3 つの側面に関して、アノテーションのコストを定義します。
この研究を通じて、X 線で 10 個の胸部異常を検出した結果の CAD モデルのパフォーマンスに対する各次元の影響を分離します。
ゴールド スタンダード アノテーションを使用した 12 万を超える X 線画像を含む大規模なトレーニング データでは、ゴールド スタンダード アノテーションのみでトレーニングされたモデルと比較して、コスト効率の高いアノテーションが大量に収集された場合に大きな価値を提供し、競争力のあるパフォーマンスにつながることがわかりました。
.
また、大量のコスト効率の高い注釈と少量の高価なラベルのみを組み合わせることで、はるかに低コストで競争力のある CAD モデルを作成できることもわかりました。

要約(オリジナル)

As deep networks require large amounts of accurately labeled training data, a strategy to collect sufficiently large and accurate annotations is as important as innovations in recognition methods. This is especially true for building Computer Aided Detection (CAD) systems for chest X-rays where domain expertise of radiologists is required to annotate the presence and location of abnormalities on X-ray images. However, there lacks concrete evidence that provides guidance on how much resource to allocate for data annotation such that the resulting CAD system reaches desired performance. Without this knowledge, practitioners often fall back to the strategy of collecting as much detail as possible on as much data as possible which is cost inefficient. In this work, we investigate how the cost of data annotation ultimately impacts the CAD model performance on classification and segmentation of chest abnormalities in frontal-view X-ray images. We define the cost of annotation with respect to the following three dimensions: quantity, quality and granularity of labels. Throughout this study, we isolate the impact of each dimension on the resulting CAD model performance on detecting 10 chest abnormalities in X-rays. On a large scale training data with over 120K X-ray images with gold-standard annotations, we find that cost-efficient annotations provide great value when collected in large amounts and lead to competitive performance when compared to models trained with only gold-standard annotations. We also find that combining large amounts of cost efficient annotations with only small amounts of expensive labels leads to competitive CAD models at a much lower cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google