Knowledge graphs for empirical concept retrieval

要約

概念ベースの説明可能な AI は、特定のユーザーの前提にある複雑なモデルの理解を向上させるツールとして、つまり、パーソナライズされた説明可能性のためのツールとして有望です。
概念ベースの説明可能性手法の重要なクラスは、TCAV アプローチのように、一連の肯定的例と否定的例を通じて間接的に定義された、経験的に定義された概念で構築されます (Kim et al., 2018)。
ユーザーにとって、概念の正式な定義とその運用化を避けることは魅力的ですが、関連する概念データセットを確立するのは困難な場合があります。
ここでは、包括的な概念定義のために一般知識グラフ (Wikidata や WordNet など) を使用してこの課題に対処し、テキストと画像の両方のドメインでのユーザー主導のデータ収集のワークフローを示します。
ナレッジ グラフから派生した概念は対話的に定義され、パーソナライゼーションの機会を提供し、概念がユーザーの意図を確実に反映するようにします。
取得した概念データセットを、2 つの概念ベースの説明可能性手法、つまり概念活性化ベクトル (CAV) と概念活性化領域 (CAR) でテストします (Crabbe および van der Schaar、2022)。
これらの経験的な概念データセットに基づく CAV と CAR が、堅牢で正確な説明を提供することを示します。
重要なのは、モデルの概念表現とナレッジ グラフの構造、つまり人間の表現との間に良好な整合性が見られることです。
これは、ナレッジ グラフ ベースの概念が XAI に関連しているという結論を裏付けています。

要約(オリジナル)

Concept-based explainable AI is promising as a tool to improve the understanding of complex models at the premises of a given user, viz.\ as a tool for personalized explainability. An important class of concept-based explainability methods is constructed with empirically defined concepts, indirectly defined through a set of positive and negative examples, as in the TCAV approach (Kim et al., 2018). While it is appealing to the user to avoid formal definitions of concepts and their operationalization, it can be challenging to establish relevant concept datasets. Here, we address this challenge using general knowledge graphs (such as, e.g., Wikidata or WordNet) for comprehensive concept definition and present a workflow for user-driven data collection in both text and image domains. The concepts derived from knowledge graphs are defined interactively, providing an opportunity for personalization and ensuring that the concepts reflect the user’s intentions. We test the retrieved concept datasets on two concept-based explainability methods, namely concept activation vectors (CAVs) and concept activation regions (CARs) (Crabbe and van der Schaar, 2022). We show that CAVs and CARs based on these empirical concept datasets provide robust and accurate explanations. Importantly, we also find good alignment between the models’ representations of concepts and the structure of knowledge graphs, i.e., human representations. This supports our conclusion that knowledge graph-based concepts are relevant for XAI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google