Challenges and Opportunities in Text Generation Explainability

要約

大規模な言語モデルの注目度が高まるにつれて、自然言語処理 (NLP) における解釈可能性の必要性が高まっています。
NLP 内の無数のタスクの中で、テキスト生成は自己回帰モデルの主な目的として際立っています。
NLP コミュニティは、テキスト生成をより深く理解することに強い関心を持ち始めており、このタスクに合わせたモデルに依存しない説明可能な人工知能 (xAI) 手法の開発につながっています。
説明可能性手法の設計と評価は、自己回帰モデルやその確率的性質など、テキスト生成プロセスに関与する多くの要素に依存するため、自明ではありません。
この文書では、帰属に基づく説明可能性手法の開発と評価の際に生じる 3 つのグループに分類された 17 の課題について概説します。
これらの課題には、トークン化、説明の類似性の定義、トークンの重要性と予測変更メトリクスの決定、必要な人間の介入のレベル、および適切なテスト データセットの作成に関する問題が含まれます。
この論文では、これらの課題がどのように絡み合い、コミュニティに新たな機会がもたらされるかを示しています。
これらには、確率論的な単語レベルの説明可能性手法の開発や、データ設計から最終評価に至る説明可能性パイプラインに人間を参加させて、xAI 手法に関する確実な結論を導き出すことが含まれます。

要約(オリジナル)

The necessity for interpretability in natural language processing (NLP) has risen alongside the growing prominence of large language models. Among the myriad tasks within NLP, text generation stands out as a primary objective of autoregressive models. The NLP community has begun to take a keen interest in gaining a deeper understanding of text generation, leading to the development of model-agnostic explainable artificial intelligence (xAI) methods tailored to this task. The design and evaluation of explainability methods are non-trivial since they depend on many factors involved in the text generation process, e.g., the autoregressive model and its stochastic nature. This paper outlines 17 challenges categorized into three groups that arise during the development and assessment of attribution-based explainability methods. These challenges encompass issues concerning tokenization, defining explanation similarity, determining token importance and prediction change metrics, the level of human intervention required, and the creation of suitable test datasets. The paper illustrates how these challenges can be intertwined, showcasing new opportunities for the community. These include developing probabilistic word-level explainability methods and engaging humans in the explainability pipeline, from the data design to the final evaluation, to draw robust conclusions on xAI methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google