Explaining word embeddings with perfect fidelity: Case study in research impact prediction

要約

学術文書の品質予測で最もパフォーマンスの高いアプローチは、埋め込みモデルに基づいています。これでは、個別の単語がモデル トレーニングの入力特徴に対応しなくなるため、分類器を直接説明することができません。
ローカル解釈可能なモデルに依存しない説明 (LIME) などのモデルに依存しない説明手法を適用することもできますが、これらは ML モデルとの対応が疑わしい結果を生成します。
単語埋め込みでトレーニングされたロジスティック回帰ベースの分類モデルに対して、新しい特徴重要度手法である自己モデル評価エンティティ (SMER) を導入します。
SMER の予測はテキスト内の個々の単語の予測の平均に正確に対応するため、SMER は説明されたモデルに対して理論的に完全な忠実性を持っていることを示します。
SMER を使用すると、どの単語やエンティティが影響力のある記事の予測に積極的に寄与するかを確実に判断できます。
定量的および定性的評価は、CORD-19 コーパスの 50,000 件の研究論文に対して行われた 5 つの多様な実験を通じて実行されます。
AOPC 曲線分析を通じて、ロジスティック回帰に関して SMER が LIME よりも適切な説明を生み出すことを実験的に示します。

要約(オリジナル)

Best performing approaches for scholarly document quality prediction are based on embedding models, which do not allow direct explanation of classifiers as distinct words no longer correspond to the input features for model training. Although model-agnostic explanation methods such as Local interpretable model-agnostic explanations (LIME) can be applied, these produce results with questionable correspondence to the ML model. We introduce a new feature importance method, Self-model Rated Entities (SMER), for logistic regression-based classification models trained on word embeddings. We show that SMER has theoretically perfect fidelity with the explained model, as its prediction corresponds exactly to the average of predictions for individual words in the text. SMER allows us to reliably determine which words or entities positively contribute to predicting impactful articles. Quantitative and qualitative evaluation is performed through five diverse experiments conducted on 50.000 research papers from the CORD-19 corpus. Through an AOPC curve analysis, we experimentally demonstrate that SMER produces better explanations than LIME for logistic regression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google