MGR: Multi-generator Based Rationalization

要約

合理化とは、ジェネレーターと予測子を使用して自明の NLP モデルを構築することです。このモデルでは、ジェネレーターが入力テキストの人間が理解できる部分のサブセットを次の予測子に選択します。
ただし、合理化には、偽の相関と縮退という 2 つの重要な課題があります。この場合、予測子は、まだ十分に訓練されていないジェネレーターによってのみ選択された偽の部分または無意味な部分を過剰適合し、その結果、ジェネレーターを劣化させます。
2 つの課題に対処するために多くの研究が提案されていますが、通常、それらは別々に設計されており、両方を考慮していません。
この論文では、この 2 つの問題を同時に解決するための、MGR と呼ばれるシンプルかつ効果的な手法を提案します。
MGR の重要なアイデアは、実際のピースの出現安定性が向上し、より意味のあるピースが予測子に配信されるように複数のジェネレーターを使用することです。
経験的に、MGR は最先端の方法と比較して F1 スコアを最大 20.9% 改善することを示しています。
コードは https://github.com/jugechengzi/Rationalization-MGR で入手できます。

要約(オリジナル)

Rationalization is to employ a generator and a predictor to construct a self-explaining NLP model in which the generator selects a subset of human-intelligible pieces of the input text to the following predictor. However, rationalization suffers from two key challenges, i.e., spurious correlation and degeneration, where the predictor overfits the spurious or meaningless pieces solely selected by the not-yet well-trained generator and in turn deteriorates the generator. Although many studies have been proposed to address the two challenges, they are usually designed separately and do not take both of them into account. In this paper, we propose a simple yet effective method named MGR to simultaneously solve the two problems. The key idea of MGR is to employ multiple generators such that the occurrence stability of real pieces is improved and more meaningful pieces are delivered to the predictor. Empirically, we show that MGR improves the F1 score by up to 20.9% as compared to state-of-the-art methods. Codes are available at https://github.com/jugechengzi/Rationalization-MGR .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google