Interpretable Machine Learning for TabPFN

要約

最近開発された事前データ適合ネットワーク (PFN) は、低データ領域のアプリケーションに対して非常に有望な結果を示しています。
表形式データ用の PFN の特殊なケースである TabPFN モデルは、学習パラメーターを必要とせずに、コンテキスト内学習によってわずか数秒で事後予測分布を生成しながら、さまざまな分類タスクで最先端のパフォーマンスを達成できます。
またはハイパーパラメータ調整。
このため、TabPFN は幅広いドメイン アプリケーションにとって非常に魅力的なオプションになります。
ただし、この方法の大きな欠点は、解釈可能性が欠如していることです。
したがって、TabPFN 用に特別に設計した、一般的な解釈可能性手法のいくつかの適応を提案します。
モデルの固有の特性を利用することで、私たちの適応により、既存の実装よりも効率的な計算が可能になります。
特に、コンテキスト内学習により、近似再学習を回避することで Shapley 値の推定が容易になり、大規模な Transformer を使用する場合でも Leave-One-Covariate-Out (LOCO) の使用が可能になる方法を示します。
さらに、データ評価手法を使用して TabPFN のスケーラビリティの課題に対処する方法を示します。
私たちが提案するメソッドは tabpfn_iml パッケージに実装されており、https://github.com/david-rundel/tabpfn_iml で入手できます。

要約(オリジナル)

The recently developed Prior-Data Fitted Networks (PFNs) have shown very promising results for applications in low-data regimes. The TabPFN model, a special case of PFNs for tabular data, is able to achieve state-of-the-art performance on a variety of classification tasks while producing posterior predictive distributions in mere seconds by in-context learning without the need for learning parameters or hyperparameter tuning. This makes TabPFN a very attractive option for a wide range of domain applications. However, a major drawback of the method is its lack of interpretability. Therefore, we propose several adaptations of popular interpretability methods that we specifically design for TabPFN. By taking advantage of the unique properties of the model, our adaptations allow for more efficient computations than existing implementations. In particular, we show how in-context learning facilitates the estimation of Shapley values by avoiding approximate retraining and enables the use of Leave-One-Covariate-Out (LOCO) even when working with large-scale Transformers. In addition, we demonstrate how data valuation methods can be used to address scalability challenges of TabPFN. Our proposed methods are implemented in a package tabpfn_iml and made available at https://github.com/david-rundel/tabpfn_iml.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google