LADDER: Language Driven Slice Discovery and Error Rectification

要約

エラースライス検出は、構造化パターンをモデルエラーと関連付けます。
既存の方法では、エラーが発生しやすいサンプルを類似のパターンでクラスタリングするか、事後分析のために各サンプルに個別の属性を割り当てることによってエラー スライスを発見します。
これらの方法は、再重み付けや再バランスによる解釈可能性と緩和の容易さを目的としていますが、属性が不完全または欠落しているため、エラー パターンの複雑さを完全には捉えられない可能性があります。
既存のアプローチとは対照的に、この論文では大規模言語モデル (LLM) の推論機能を利用して、複雑なエラー パターンを分析し、テスト可能な仮説を生成します。
この論文では、LADDER: 言語駆動スライスの発見とエラー修正を提案します。
まず、モデルの表現を言語に合わせた特徴空間 (CLIP など) に投影して、元のモデル特徴空間のセマンティクスを保持します。
これにより、モデルのエラーを強調する文を正確に取得できるようになります。
次に、LLM は文を利用して仮説を生成し、エラー スライスを発見します。
最後に、仮説を使用してグループバランスの取れたデータセットを作成し、分類ヘッドを微調整することで誤差を軽減します。
私たちのメソッド全体では、明示的にまたは外部のタグ付けモデルを通じて、属性の注釈を必要としません。
\textbf{5} 個の画像分類データセットを使用して方法を検証します。
コードは入手可能です (https://github.com/batmanlab/Ladder)。

要約(オリジナル)

Error slice discovery associates structured patterns with model errors. Existing methods discover error slices by clustering the error-prone samples with similar patterns or assigning discrete attributes to each sample for post-hoc analysis. While these methods aim for interpretability and easier mitigation through reweighting or rebalancing, they may not capture the full complexity of error patterns due to incomplete or missing attributes. Contrary to the existing approach, this paper utilizes the reasoning capabilities of the Large Language Model (LLM) to analyze complex error patterns and generate testable hypotheses. This paper proposes LADDER: Language Driven slice Discovery and Error Rectification. It first projects the model’s representation into a language-aligned feature space (eg CLIP) to preserve semantics in the original model feature space. This ensures the accurate retrieval of sentences that highlight the model’s errors. Next, the LLM utilizes the sentences and generates hypotheses to discover error slices. Finally, we mitigate the error by fine-tuning the classification head by creating a group-balanced dataset using the hypotheses. Our entire method does not require any attribute annotation, either explicitly or through external tagging models. We validate our method with \textbf{five} image classification datasets. The code is available (https://github.com/batmanlab/Ladder).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google