LADDER: Language Driven Slice Discovery and Error Rectification

要約

エラースライスの発見は、モデルエラーを診断して軽減するために重要です。
現在のクラスタリングまたは離散属性ベースのスライスディスカバリーメソッドは重要な制限に直面しています。1）クラスタリングの結果、スライスに離散属性を割り当てると、属性が欠落または不十分な属性が不足しているため、エラーパターンの不完全なカバレッジにつながります。
2）これらの方法には複雑な推論がなく、モデルのバイアスを完全に説明できないようにします。
3）\ textit {ドメインナレッジ}を統合していないため、特殊な分野での使用法を制限します。
\ ladder（\ underline {la} nguage- \ underline {d} riven \ underline {d} iscovery and \ underline {e} rror \ underline {r} ectification）を提案します。
不完全さに対処するための自然言語の柔軟性、（2）LLMの潜在\ textit {domainを採用する
知識}および文を分析し、テスト可能な仮説を直接導き出すための高度な推論、偏った属性を識別し、クラスタリングなしで一貫したエラースライスを形成します。
既存の緩和方法は通常、最悪のパフォーマンスのグループのみに対処し、多くの場合、他のサブグループのエラーを増幅します。
対照的に、\ Ladderは、発見された仮説から擬似属性を生成し、明示的な属性注釈またはバイアスの事前知識なしに、すべてのバイアスにわたってエラーを緩和します。
自然および医療画像にまたがる6つのデータセットでの厳密な評価 – 200以上の分類器を多様なアーキテクチャ、前登録戦略、およびLLMSと比較して、\ Ladderがバイアスの発見と緩和において既存のベースラインを常に上回ることを示しています。

要約(オリジナル)

Error slice discovery is crucial to diagnose and mitigate model errors. Current clustering or discrete attribute-based slice discovery methods face key limitations: 1) clustering results in incoherent slices, while assigning discrete attributes to slices leads to incomplete coverage of error patterns due to missing or insufficient attributes; 2) these methods lack complex reasoning, preventing them from fully explaining model biases; 3) they fail to integrate \textit{domain knowledge}, limiting their usage in specialized fields \eg radiology. We propose\ladder (\underline{La}nguage-\underline{D}riven \underline{D}iscovery and \underline{E}rror \underline{R}ectification), to address the limitations by: (1) leveraging the flexibility of natural language to address incompleteness, (2) employing LLM’s latent \textit{domain knowledge} and advanced reasoning to analyze sentences and derive testable hypotheses directly, identifying biased attributes, and form coherent error slices without clustering. Existing mitigation methods typically address only the worst-performing group, often amplifying errors in other subgroups. In contrast,\ladder generates pseudo attributes from the discovered hypotheses to mitigate errors across all biases without explicit attribute annotations or prior knowledge of bias. Rigorous evaluations on 6 datasets spanning natural and medical images — comparing 200+ classifiers with diverse architectures, pretraining strategies, and LLMs — show that\ladder consistently outperforms existing baselines in discovering and mitigating biases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google