Data AUDIT: Identifying Attribute Utility- and Detectability-Induced Bias in Task Models

要約

タイトル：タスクモデルにおける属性ユーティリティと検出性によるバイアスの特定

要約：

– 深層学習を用いたコンピュータ支援型検出や診断において、モデルを確実かつ信頼性の高いものにすることが必要である。
– ヒューリスティックな手法や高レベルの目的（例えば、性別、ジェンダーや人種といった保護対象属性に関する差別の回避）に依存する既存の手法が存在するが、より明確でない属性に関してもバイアスが生じることがあり、これらのより微妙な属性に関連する信頼性の問題は深刻な影響を与えることがある。
– 本研究は、データ駆動型の仮説を生成し、モデルバイアスを生じやすい特定のデータセットの属性を特定するための、医療画像データセットの厳格で定量的なスクリーニングのための技術を提供している。
– 因果推論や情報理論の文献から学んだ手法を用い、データセット属性がモデルバイアスにどのようなリスクを引き起こすかを、検出性とユーティリティ（属性がタスクラベルについてどの程度の情報を与えるか）という観点から分解する。
– 既存のモデルバイアスを評価するために、種々のデータセットを開発し、真の対事実的な例とのパフォーマンス比較による継承モデルバイアスの評価を可能にした。
– 数百のトレーニングされたモデルからの結果を使用し、スクリーニング方法がほぼ認識できないバイアス誘発ツールの特定に信頼性があることを示した。
– 最後に、人気のある皮膚病変のデータセットの自然属性に対して、提案手法を適用し、成功を実証した。

要約(オリジナル)

To safely deploy deep learning-based computer vision models for computer-aided detection and diagnosis, we must ensure that they are robust and reliable. Towards that goal, algorithmic auditing has received substantial attention. To guide their audit procedures, existing methods rely on heuristic approaches or high-level objectives (e.g., non-discrimination in regards to protected attributes, such as sex, gender, or race). However, algorithms may show bias with respect to various attributes beyond the more obvious ones, and integrity issues related to these more subtle attributes can have serious consequences. To enable the generation of actionable, data-driven hypotheses which identify specific dataset attributes likely to induce model bias, we contribute a first technique for the rigorous, quantitative screening of medical image datasets. Drawing from literature in the causal inference and information theory domains, our procedure decomposes the risks associated with dataset attributes in terms of their detectability and utility (defined as the amount of information knowing the attribute gives about a task label). To demonstrate the effectiveness and sensitivity of our method, we develop a variety of datasets with synthetically inserted artifacts with different degrees of association to the target label that allow evaluation of inherited model biases via comparison of performance against true counterfactual examples. Using these datasets and results from hundreds of trained models, we show our screening method reliably identifies nearly imperceptible bias-inducing artifacts. Lastly, we apply our method to the natural attributes of a popular skin-lesion dataset and demonstrate its success. Our approach provides a means to perform more systematic algorithmic audits and guide future data collection efforts in pursuit of safer and more reliable models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI