HiBug2: Efficient and Interpretable Error Slice Discovery for Comprehensive Model Debugging

要約

コンピュータビジョンにおけるディープラーニングモデルの大きな成功にもかかわらず、エラースライスと呼ばれる特定のデータサブセットで体系的な失敗を示すことが多い。このようなエラースライスを特定し緩和することは、実世界のシナリオにおけるモデルのロバスト性と信頼性を高める上で極めて重要である。本論文では、エラースライスの発見とモデル修復のための自動化フレームワークであるHiBug2を紹介する。HiBug2はまず、解釈可能で構造化されたプロセスにより、エラーが発生しやすいインスタンスを強調するタスク固有の視覚的属性を生成する。次に、効率的なスライス列挙アルゴリズムを採用し、スライス探索中に発生する組み合わせの課題を克服して、エラースライスを系統的に特定する。さらに、HiBug2は、検証セットを超えてエラースライスを予測することで機能を拡張し、先行アプローチの重要な制限に対処している。画像分類、姿勢推定、物体検出を含む複数の領域にわたる広範な実験により、HiBug2は識別されたエラースライスの一貫性と精度を向上させるだけでなく、モデルの修復能力を大幅に向上させることが示された。

要約(オリジナル)

Despite the significant success of deep learning models in computer vision, they often exhibit systematic failures on specific data subsets, known as error slices. Identifying and mitigating these error slices is crucial to enhancing model robustness and reliability in real-world scenarios. In this paper, we introduce HiBug2, an automated framework for error slice discovery and model repair. HiBug2 first generates task-specific visual attributes to highlight instances prone to errors through an interpretable and structured process. It then employs an efficient slice enumeration algorithm to systematically identify error slices, overcoming the combinatorial challenges that arise during slice exploration. Additionally, HiBug2 extends its capabilities by predicting error slices beyond the validation set, addressing a key limitation of prior approaches. Extensive experiments across multiple domains, including image classification, pose estimation, and object detection – show that HiBug2 not only improves the coherence and precision of identified error slices but also significantly enhances the model repair capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL