MGR: Multi-generator based Rationalization

要約

合理化とは、生成器と予測器を用いて自己説明型の自然言語処理モデルを構築することであり、生成器は入力テキストから人間にとって理解しやすい断片のサブセットを選択し、次の予測器へ渡す。しかし、合理化には2つの重要な課題、すなわち、スプリアス相関と退化があり、予測器は、まだ十分に訓練されていない生成器によって選択されたスプリアスまたは無意味な断片をオーバーフィットし、ひいては生成器を劣化させる。この2つの課題を解決するために多くの研究が提案されているが、それらは通常別々に設計されており、両者を考慮したものではない。本論文では、この2つの課題を同時に解決するために、MGRと名付けられたシンプルかつ効果的な方法を提案する。MGRの重要な考え方は、複数の生成器を採用することで、実ピースの発生安定性を向上させ、より意味のあるピースを予測器に送り込むことである。経験的に、MGRは最先端の方法と比較して、F1スコアを最大20.9%向上させることを示す。コードは、https://github.com/jugechengzi/Rationalization-MGR で入手可能です。

要約(オリジナル)

Rationalization is to employ a generator and a predictor to construct a self-explaining NLP model in which the generator selects a subset of human-intelligible pieces of the input text to the following predictor. However, rationalization suffers from two key challenges, i.e., spurious correlation and degeneration, where the predictor overfits the spurious or meaningless pieces solely selected by the not-yet well-trained generator and in turn deteriorates the generator. Although many studies have been proposed to address the two challenges, they are usually designed separately and do not take both of them into account. In this paper, we propose a simple yet effective method named MGR to simultaneously solve the two problems. The key idea of MGR is to employ multiple generators such that the occurrence stability of real pieces is improved and more meaningful pieces are delivered to the predictor. Empirically, we show that MGR improves the F1 score by up to 20.9% as compared to state-of-the-art methods. Codes are available at https://github.com/jugechengzi/Rationalization-MGR .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL