The FIX Benchmark: Extracting Features Interpretable to eXperts

要約

特徴ベースの手法は、モデルの予測を説明するためによく使用されますが、これらの手法は多くの場合、解釈可能な特徴がすぐに利用できることを暗黙的に前提としています。
ただし、これは高次元データには当てはまらないことが多く、どの特徴が重要であるかを数学的に指定することは、分野の専門家であっても困難な場合があります。
代わりに、専門家の知識に合わせた特徴のコレクションまたはグループを自動的に抽出することはできますか?
このギャップに対処するために、機能のコレクションが専門家の知識とどの程度一致しているかを測定するためのベンチマークである FIX (専門家に解釈可能な機能) を紹介します。
私たちは、分野の専門家と協力して、視覚、言語、時系列データモダリティにおける宇宙論、心理学、医学の分野にわたる多様な現実世界の設定に適用できる統一された専門家調整尺度である FIXScore を提案します。
FIXScore を使用すると、一般的な特徴ベースの説明方法は専門家が指定した知識との整合性が低いことがわかり、専門家が解釈できる特徴をより適切に識別できる新しい方法の必要性が強調されます。

要約(オリジナル)

Feature-based methods are commonly used to explain model predictions, but these methods often implicitly assume that interpretable features are readily available. However, this is often not the case for high-dimensional data, and it can be hard even for domain experts to mathematically specify which features are important. Can we instead automatically extract collections or groups of features that are aligned with expert knowledge? To address this gap, we present FIX (Features Interpretable to eXperts), a benchmark for measuring how well a collection of features aligns with expert knowledge. In collaboration with domain experts, we propose FIXScore, a unified expert alignment measure applicable to diverse real-world settings across cosmology, psychology, and medicine domains in vision, language and time series data modalities. With FIXScore, we find that popular feature-based explanation methods have poor alignment with expert-specified knowledge, highlighting the need for new methods that can better identify features interpretable to experts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google