TopEx: Topic-based Explanations for Model Comparison

要約

言語モデルを有意義に比較することは、現在の説明手法では困難である。現在の説明は、ボキャブラリーが多いため、人間にとって圧倒的であったり、モデル間で比較不可能であったりする。我々は、モデルに依存しないトピックを介して言語モデルを比較するための公平な競技場を可能にする説明方法であるTopExを提示する。TopExが、様々なNLPタスクにおいて、DistilRoBERTaとGPT-2の類似点と相違点をどのように識別できるかを実証する。

要約(オリジナル)

Meaningfully comparing language models is challenging with current explanation methods. Current explanations are overwhelming for humans due to large vocabularies or incomparable across models. We present TopEx, an explanation method that enables a level playing field for comparing language models via model-agnostic topics. We demonstrate how TopEx can identify similarities and differences between DistilRoBERTa and GPT-2 on a variety of NLP tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL