Representer Point Selection for Explaining Regularized High-dimensional Models

要約

私たちは、高次元表現者と呼ぶサンプルベースの説明の新しいクラスを導入します。これは、各トレーニング サンプルの重要度の重みの観点から、正則化された高次元モデルの予測を説明するために使用できます。
私たちの主力は、一般的な正則化された高次元モデルの新しい表現定理であり、各トレーニング サンプルからの寄与という観点からモデルの予測を分解します。正の (負の) 値は、モデルの予測に対するトレーニング サンプルの正の (負の) 影響に対応します。
。
$\ell_1$ の正規化されたスパース モデルと核ノルムの正規化された低ランク モデルの正規インスタンスの結果を導き出します。
ケーススタディとして、協調フィルタリングのコンテキストにおける低ランク モデルの適用をさらに調査します。そこでは、モデルの特定の人気クラスの高次元表現をインスタンス化します。
最後に、3 つの現実世界のバイナリ分類データセットと 2 つのレコメンダー システム データセットに対する提案手法の実験的パフォーマンスを研究します。
また、モデルの推奨事項を説明する際の高次元表現の有用性も紹介します。

要約(オリジナル)

We introduce a novel class of sample-based explanations we term high-dimensional representers, that can be used to explain the predictions of a regularized high-dimensional model in terms of importance weights for each of the training samples. Our workhorse is a novel representer theorem for general regularized high-dimensional models, which decomposes the model prediction in terms of contributions from each of the training samples: with positive (negative) values corresponding to positive (negative) impact training samples to the model’s prediction. We derive consequences for the canonical instances of $\ell_1$ regularized sparse models, and nuclear norm regularized low-rank models. As a case study, we further investigate the application of low-rank models in the context of collaborative filtering, where we instantiate high-dimensional representers for specific popular classes of models. Finally, we study the empirical performance of our proposed methods on three real-world binary classification datasets and two recommender system datasets. We also showcase the utility of high-dimensional representers in explaining model recommendations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google