Using ScrutinAI for Visual Inspection of DNN Performance in a Medical Use Case

要約

当社のビジュアル アナリティクス (VA) ツール ScrutinAI は、人間のアナリストが対話的にモデルのパフォーマンスとデータ セットを調査できるようにサポートします。
モデルのパフォーマンスは、ラベルの品質に大きく依存します。
特に医療現場では、高品質のラベルの生成には深い専門知識が必要であり、非常にコストがかかります。
多くの場合、データセットは専門家グループの意見を収集してラベル付けされます。
VA ツールを使用して、さまざまな専門家間のラベルの違いがモデルのパフォーマンスに及ぼす影響を分析します。
ScrutinAI は、ラベリング品質の変動または欠落によって引き起こされるディープ ニューラル ネットワーク (DNN) モデルの弱点と真の弱点を区別する根本原因分析の実行を容易にします。
私たちは、公的に利用可能なデータセットにおける頭蓋内出血の全体的な検出とサブタイプ間のより微妙な区別を精査します。

要約(オリジナル)

Our Visual Analytics (VA) tool ScrutinAI supports human analysts to investigate interactively model performanceand data sets. Model performance depends on labeling quality to a large extent. In particular in medical settings, generation of high quality labels requires in depth expert knowledge and is very costly. Often, data sets are labeled by collecting opinions of groups of experts. We use our VA tool to analyse the influence of label variations between different experts on the model performance. ScrutinAI facilitates to perform a root cause analysis that distinguishes weaknesses of deep neural network (DNN) models caused by varying or missing labeling quality from true weaknesses. We scrutinize the overall detection of intracranial hemorrhages and the more subtle differentiation between subtypes in a publicly available data set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google