The Effect of Intrinsic Dataset Properties on Generalization: Unraveling Learning Differences Between Natural and Medical Images

要約

この論文では、ニューラル ネットワークがさまざまな画像ドメインから学習する方法の矛盾について調査します。これらの矛盾は、自然画像の領域から医療画像などの他の特殊な領域にコンピューター ビジョン技術を導入するときによく見落とされます。
最近の研究では、訓練されたネットワークの汎化誤差は、通常、訓練セットの固有次元 ($d_{data}$) とともに増加することが判明しました。
しかし、この関係の急峻さは、医学（放射線医学）領域と自然画像領域との間で大きく異なり、理論的な説明は存在しない。
我々は、$d_{data}$ に関する一般化スケーリング則を確立し、経験的に検証することで、この知識のギャップに対処し、考慮された 2 つの領域間の実質的なスケーリングの不一致は、少なくとも部分的にはより高い固有の「ラベル」に起因する可能性があることを提案します。
医用画像データセットの鮮明さ” ($K_\mathcal{F}$)。これは私たちが提案する指標です。
次に、トレーニング セットのラベルの鮮明度を測定することの追加の利点を示します。これは、トレーニングされたモデルの敵対的堅牢性と負の相関があり、特に、医療画像のモデルが敵対的攻撃に対して大幅に高い脆弱性をもつことになります。
最後に、$d_{data}$ 形式主義を学習された表現の固有次元 ($d_{repr}$) の関連計量に拡張し、$d_{repr}$ に関する一般化スケーリング則を導出し、$d_
{data}$ は、$d_{repr}$ の上限として機能します。
私たちの理論的結果は、さまざまなトレーニング セット サイズにわたる 6 つのモデルと 11 の自然および医療画像データセットを使用した徹底的な実験によって裏付けられています。
私たちの調査結果は、ディープ ニューラル ネットワークにおける一般化、表現学習、堅牢性に対するデータセット固有のプロパティの影響についての洞察を提供します。
コードリンク: https://github.com/mazurowski-lab/intrinsic-properties

要約(オリジナル)

This paper investigates discrepancies in how neural networks learn from different imaging domains, which are commonly overlooked when adopting computer vision techniques from the domain of natural images to other specialized domains such as medical images. Recent works have found that the generalization error of a trained network typically increases with the intrinsic dimension ($d_{data}$) of its training set. Yet, the steepness of this relationship varies significantly between medical (radiological) and natural imaging domains, with no existing theoretical explanation. We address this gap in knowledge by establishing and empirically validating a generalization scaling law with respect to $d_{data}$, and propose that the substantial scaling discrepancy between the two considered domains may be at least partially attributed to the higher intrinsic “label sharpness” ($K_\mathcal{F}$) of medical imaging datasets, a metric which we propose. Next, we demonstrate an additional benefit of measuring the label sharpness of a training set: it is negatively correlated with the trained model’s adversarial robustness, which notably leads to models for medical images having a substantially higher vulnerability to adversarial attack. Finally, we extend our $d_{data}$ formalism to the related metric of learned representation intrinsic dimension ($d_{repr}$), derive a generalization scaling law with respect to $d_{repr}$, and show that $d_{data}$ serves as an upper bound for $d_{repr}$. Our theoretical results are supported by thorough experiments with six models and eleven natural and medical imaging datasets over a range of training set sizes. Our findings offer insights into the influence of intrinsic dataset properties on generalization, representation learning, and robustness in deep neural networks. Code link: https://github.com/mazurowski-lab/intrinsic-properties

arxiv情報

提供元, 利用サービス

arxiv.jp, Google