Cross Feature Selection to Eliminate Spurious Interactions and Single Feature Dominance Explainable Boosting Machines

要約

解釈可能性は、人間がこれらのモデルの意思決定プロセスを理解し、信頼できるようにする機械学習モデルの重要な側面です。
多くの実世界のアプリケーションでは、法的、倫理的、実用的な理由から、モデルの解釈可能性が不可欠です。
たとえば、銀行分野では、公正な融資法に従って融資申請の承認または拒否の背後にある理由を貸し手と借り手が理解するために、解釈可能性が重要です。
ただし、機械学習モデルで解釈可能性を実現することは、特に複雑な高性能モデルの場合、困難です。
したがって、Explainable Boosting Machine (EBM) は、さまざまな予測タスクにおける解釈可能で高性能な性質により人気が高まっています。
ただし、これらのモデルは、冗長な特徴との偽の相互作用や、すべての相互作用にわたる単一特徴の優位性などの問題に悩まされる可能性があり、モデルの予測の解釈可能性と信頼性に影響を与える可能性があります。
この論文では、代替のクロス特徴選択、アンサンブル特徴、モデル構成変更手法を利用することで、これらの問題に対処する新しいアプローチを検討します。
私たちのアプローチには、一連の候補特徴を選択し、アンサンブル特徴を選択し、EBM モデルを使用して同じベンチマークを実行する、複数ステップの特徴選択手順が含まれます。
3 つのベンチマーク データセットでこの手法を評価し、代替手法が通常の EBM 手法よりも優れたパフォーマンスを示し、同時に解釈性と特徴選択の安定性が向上し、モデルの予測パフォーマンスが向上することを示します。
さらに、私たちのアプローチが意味のある相互作用を特定し、モデルの予測における単一の特徴の支配を減らし、より信頼性が高く解釈可能なモデルにつながることを示します。
索引用語 – 解釈可能性、EBM、アンサンブル、特徴の選択。

要約(オリジナル)

Interpretability is a crucial aspect of machine learning models that enables humans to understand and trust the decision-making process of these models. In many real-world applications, the interpretability of models is essential for legal, ethical, and practical reasons. For instance, in the banking domain, interpretability is critical for lenders and borrowers to understand the reasoning behind the acceptance or rejection of loan applications as per fair lending laws. However, achieving interpretability in machine learning models is challenging, especially for complex high-performance models. Hence Explainable Boosting Machines (EBMs) have been gaining popularity due to their interpretable and high-performance nature in various prediction tasks. However, these models can suffer from issues such as spurious interactions with redundant features and single-feature dominance across all interactions, which can affect the interpretability and reliability of the model’s predictions. In this paper, we explore novel approaches to address these issues by utilizing alternate Cross-feature selection, ensemble features and model configuration alteration techniques. Our approach involves a multi-step feature selection procedure that selects a set of candidate features, ensemble features and then benchmark the same using the EBM model. We evaluate our method on three benchmark datasets and show that the alternate techniques outperform vanilla EBM methods, while providing better interpretability and feature selection stability, and improving the model’s predictive performance. Moreover, we show that our approach can identify meaningful interactions and reduce the dominance of single features in the model’s predictions, leading to more reliable and interpretable models. Index Terms- Interpretability, EBM’s, ensemble, feature selection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google