NeuroX Library for Neuron Analysis of Deep NLP Models

要約

ニューロン分析は、表現において知識がどのように構造化されているかについての洞察を提供し、ネットワークにおけるニューロンの役割を発見します。
モデルの理解に加えて、ニューロン解析により、バイアス除去、ドメイン適応、アーキテクチャ検索などのさまざまなアプリケーションが可能になります。
自然言語処理モデルのニューロン分析を行うための包括的なオープンソース ツールキットである NeuroX を紹介します。
統一された API の下でさまざまな解釈方法を実装し、データ処理と評価のためのフレームワークを提供することで、研究者や実践者がニューロン解析を容易に実行できるようにします。
Python ツールキットは https://www.github.com/fdalvi/NeuroX で入手できます。
デモビデオは https://youtu.be/mLhs2YMx4u8 でご覧いただけます。

要約(オリジナル)

Neuron analysis provides insights into how knowledge is structured in representations and discovers the role of neurons in the network. In addition to developing an understanding of our models, neuron analysis enables various applications such as debiasing, domain adaptation and architectural search. We present NeuroX, a comprehensive open-source toolkit to conduct neuron analysis of natural language processing models. It implements various interpretation methods under a unified API, and provides a framework for data processing and evaluation, thus making it easier for researchers and practitioners to perform neuron analysis. The Python toolkit is available at https://www.github.com/fdalvi/NeuroX. Demo Video available at https://youtu.be/mLhs2YMx4u8.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google