NxPlain: Web-based Tool for Discovery of Latent Concepts

要約

様々な領域でディープニューラルネットワークが普及し、特に公正さと信頼がモデル性能と同じくらい重要なシナリオにおいて、これらのモデルの解釈可能性に対するニーズが高まっている。そのため、i)これらのモデルで学習される言語的・非言語的知識を分析し、ii)入力の顕著な部分を強調する、という独立した研究が数多く行われています。我々は、潜在概念を用いてモデルの予測に関する説明を提供するウェブアプリケーション、NxPlainを紹介する。NxPlainは、ディープNLPモデルで学習された潜在概念を発見し、モデルで学習された知識の解釈を提供し、使用された概念に基づく予測を説明する。このアプリケーションでは、ユーザーは潜在概念を直感的な順序で閲覧することができ、コーパスレベルのグローバルビューと文レベルのローカルビューで、最も顕著な概念を効率的にスキャンすることができます。このツールは、デバッグ、モデルの偏りの解明、モデル内のスプリアスな相関関係の強調に有用です。ホストされたデモはこちらで入手できます: https://nxplain.qcri.org.

要約(オリジナル)

The proliferation of deep neural networks in various domains has seen an increased need for the interpretability of these models, especially in scenarios where fairness and trust are as important as model performance. A lot of independent work is being carried out to: i) analyze what linguistic and non-linguistic knowledge is learned within these models, and ii) highlight the salient parts of the input. We present NxPlain, a web application that provides an explanation of a model’s prediction using latent concepts. NxPlain discovers latent concepts learned in a deep NLP model, provides an interpretation of the knowledge learned in the model, and explains its predictions based on the used concepts. The application allows users to browse through the latent concepts in an intuitive order, letting them efficiently scan through the most salient concepts with a global corpus level view and a local sentence-level view. Our tool is useful for debugging, unraveling model bias, and for highlighting spurious correlations in a model. A hosted demo is available here: https://nxplain.qcri.org.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL