Beyond Size and Class Balance: Alpha as a New Dataset Quality Metric for Deep Learning

要約

深層学習では、画像分類タスクで高いパフォーマンスを達成するには、多様なトレーニング セットが必要です。
ただし、現在のベスト プラクティス$\unicode{x2013}$データセットのサイズとクラスのバランスを最大化する$\unicode{x2013}$では、データセットの多様性は保証されません。
私たちは、特定のモデル アーキテクチャについて、より直接的に多様性を最大化することでモデルのパフォーマンスを向上できるという仮説を立てました。
この仮説を検証するために、画像間の類似性を考慮してシャノンのエントロピーのような身近な量を一般化する生態学からの多様性測定の包括的なフレームワークを導入します。
(サイズとクラスのバランスは特殊なケースとして現れます。) 7 つの医療データセットからの何千ものサブセットを分析したところ、パフォーマンスの最良の相関関係はサイズやクラスのバランスではなく、$A$$\unicode{x2013}$’big alpha’$\unicode であることがわかりました。
{x2013}$a は、画像の類似性を考慮した上で、データセット内の画像クラスのペアの有効数として解釈される一般化されたエントロピー測定値のセット。
これらの 1 つである $A_0$ は、バランスの取れた精度の分散の 67% を説明しました。一方、クラスのバランスについては 54%、サイズについてはわずか 39% でした。
最も優れた測定値のペアはサイズ プラス $A_1​​$ (79%) で、サイズ プラス クラス バランス (74%) を上回っていました。
最大の $A_0$ を持つサブセットは、最大サイズのサブセットよりもパフォーマンスが最大 16% 向上しました (改善中央値、8%)。
私たちは、医療画像処理における深層学習のパフォーマンスを向上させる方法として $A$ を最大化することを提案します。

要約(オリジナル)

In deep learning, achieving high performance on image classification tasks requires diverse training sets. However, the current best practice$\unicode{x2013}$maximizing dataset size and class balance$\unicode{x2013}$does not guarantee dataset diversity. We hypothesized that, for a given model architecture, model performance can be improved by maximizing diversity more directly. To test this hypothesis, we introduce a comprehensive framework of diversity measures from ecology that generalizes familiar quantities like Shannon entropy by accounting for similarities among images. (Size and class balance emerge as special cases.) Analyzing thousands of subsets from seven medical datasets showed that the best correlates of performance were not size or class balance but $A$$\unicode{x2013}$’big alpha’$\unicode{x2013}$a set of generalized entropy measures interpreted as the effective number of image-class pairs in the dataset, after accounting for image similarities. One of these, $A_0$, explained 67% of the variance in balanced accuracy, vs. 54% for class balance and just 39% for size. The best pair of measures was size-plus-$A_1$ (79%), which outperformed size-plus-class-balance (74%). Subsets with the largest $A_0$ performed up to 16% better than those with the largest size (median improvement, 8%). We propose maximizing $A$ as a way to improve deep learning performance in medical imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google