Editable Concept Bottleneck Models

要約

概念ボトルネックモデル（CBM）は、人間が理解しやすい概念レイヤーを通して予測プロセスを解明する能力で注目を集めている。しかし、ほとんどの先行研究は、概念を含むデータがきれいな場合に焦点を当てている。多くのシナリオでは、プライバシーの問題、データのミスラベリング、偽概念、概念のアノテーションエラーなど、様々な理由により、学習済みCBMから学習データや新しい概念を削除/挿入する必要がある。そのため、特に大規模なアプリケーションでは、ゼロから再トレーニングすることなく、効率的な編集可能CBMを導出するという課題が残る。これらの課題に対処するために、我々は編集可能な概念ボトルネックモデル（ECBM）を提案する。具体的には、ECBMは3つの異なるレベルのデータ除去をサポートする：概念ラベルレベル、概念レベル、データレベル。ECBMは影響関数から導かれる数学的に厳密な閉形式の近似を享受し、再トレーニングの必要性を排除する。実験結果は、我々のECBMの効率性と有効性を示し、CBMの領域におけるECBMの適応性を確認する。

要約(オリジナル)

Concept Bottleneck Models (CBMs) have garnered much attention for their ability to elucidate the prediction process through a human-understandable concept layer. However, most previous studies focused on cases where the data, including concepts, are clean. In many scenarios, we always need to remove/insert some training data or new concepts from trained CBMs due to different reasons, such as privacy concerns, data mislabelling, spurious concepts, and concept annotation errors. Thus, the challenge of deriving efficient editable CBMs without retraining from scratch persists, particularly in large-scale applications. To address these challenges, we propose Editable Concept Bottleneck Models (ECBMs). Specifically, ECBMs support three different levels of data removal: concept-label-level, concept-level, and data-level. ECBMs enjoy mathematically rigorous closed-form approximations derived from influence functions that obviate the need for re-training. Experimental results demonstrate the efficiency and effectiveness of our ECBMs, affirming their adaptability within the realm of CBMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL