Investigating the Quality of DermaMNIST and Fitzpatrick17k Dermatological Image Datasets

要約

皮膚科学タスクにおけるディープラーニングの目覚ましい進歩により、人間の専門家に匹敵する診断精度の達成に近づいている。しかし、信頼性の高いディープニューラルネットワークモデルの開発には大規模なデータセットが重要な役割を果たしますが、そこに含まれるデータの品質とその正しい使用法が最も重要です。重複の存在、訓練とテストのパーティション間のデータ漏洩、ラベル付けミス画像、明確に定義されたテストパーティションの不在など、いくつかの要因がデータの品質に影響を与える可能性がある。本論文では、3つの一般的な皮膚科学画像データセットの綿密な分析を行う：DermaMNIST、その出典であるHAM10000、Fitzpatrick17kの3つの一般的な皮膚科画像データセットについて綿密な分析を行い、これらのデータ品質の問題を明らかにし、これらの問題がベンチマーク結果に与える影響を測定し、データセットの修正を提案する。我々の解析の再現性を確保することに加え、解析パイプラインと付随するコードを公開することで、同様の探求を奨励し、他の大規模データセットにおける潜在的なデータ品質問題の特定と対処を促進することを目指している。

要約(オリジナル)

The remarkable progress of deep learning in dermatological tasks has brought us closer to achieving diagnostic accuracies comparable to those of human experts. However, while large datasets play a crucial role in the development of reliable deep neural network models, the quality of data therein and their correct usage are of paramount importance. Several factors can impact data quality, such as the presence of duplicates, data leakage across train-test partitions, mislabeled images, and the absence of a well-defined test partition. In this paper, we conduct meticulous analyses of three popular dermatological image datasets: DermaMNIST, its source HAM10000, and Fitzpatrick17k, uncovering these data quality issues, measure the effects of these problems on the benchmark results, and propose corrections to the datasets. Besides ensuring the reproducibility of our analysis, by making our analysis pipeline and the accompanying code publicly available, we aim to encourage similar explorations and to facilitate the identification and addressing of potential data quality issues in other large datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL