‘Honey, Tell Me What’s Wrong’, Global Explanation of Textual Discriminative Models through Cooperative Generation

要約

複雑な機械学習の普及により、モデルに依存しない説明アルゴリズムの重要性が高まっています。
これらのメソッドは、実際のインスタンスをわずかに混乱させ、モデルの決定の変化を捉えることによって人工的なインスタンスを作成します。
ただし、そのような方法は初期データに依存しており、これらの決定の説明のみを提供します。
これらの問題に取り組むために、私たちは、入力データセットを必要としないテキストに適応された最初のグローバルでモデルに依存しない説明方法である Therapy を提案します。
Therapy は、協調生成を通じて分類器によって学習された分布に従ってテキストを生成します。
初期サンプルに依存しないため、データが存在しない場合でも（機密保持上の理由などで）説明を生成できます。
さらに、複数のローカルな説明をグローバルな説明に結合する既存の方法とは逆に、Therapy は入力空間上でのモデルの動作のグローバルな概要を提供します。
私たちの実験によると、Therapy はサンプルの生成に入力データを使用していないにもかかわらず、分類器で使用される特徴に関する洞察に富んだ情報を提供し、入力サンプルに依存する手法の特徴と競合し、入力サンプルが研究モデルに固有でない場合にはそれを上回るパフォーマンスを示します。

要約(オリジナル)

The ubiquity of complex machine learning has raised the importance of model-agnostic explanation algorithms. These methods create artificial instances by slightly perturbing real instances, capturing shifts in model decisions. However, such methods rely on initial data and only provide explanations of the decision for these. To tackle these problems, we propose Therapy, the first global and model-agnostic explanation method adapted to text which requires no input dataset. Therapy generates texts following the distribution learned by a classifier through cooperative generation. Because it does not rely on initial samples, it allows to generate explanations even when data is absent (e.g., for confidentiality reasons). Moreover, conversely to existing methods that combine multiple local explanations into a global one, Therapy offers a global overview of the model behavior on the input space. Our experiments show that although using no input data to generate samples, Therapy provides insightful information about features used by the classifier that is competitive with the ones from methods relying on input samples and outperforms them when input samples are not specific to the studied model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google