Benchmarking and Improving Compositional Generalization of Multi-aspect Controllable Text Generation

要約

構文汎化とは、学習データから単一の属性を組み換えることによって得られる新しい属性の組み合わせでテキストを生成するモデルの能力を表すものであり、マルチアスペクト制御可能テキスト生成（MCTG）手法にとって極めて重要な特性である。それにもかかわらず、MCTGの包括的な構成汎化評価ベンチマークはまだ不足している。我々は、MCTG手法の構文汎化を総合的に評価するために、多様なマルチアスペクトのラベル付きデータセットと3次元評価プロトコルを包含するベンチマークであるCompMCTGを提案する。我々は、既存のMCTGの研究が、一般的に構成テストにおいて顕著な性能低下に直面していることを観察する。この問題を軽減するために、我々はメタ学習を組み込んだ学習フレームワークであるMeta-MCTGを導入し、学習段階で構成的汎化シナリオをシミュレートすることにより、モデルが汎化方法を学習することを可能にする。我々は、94.4%のケースにおいて、構成テスト性能の明らかな改善（最大で3.64%の改善）を達成することにより、Meta-MCTGの有効性を実証する。

要約(オリジナル)

Compositional generalization, representing the model’s ability to generate text with new attribute combinations obtained by recombining single attributes from the training data, is a crucial property for multi-aspect controllable text generation (MCTG) methods. Nonetheless, a comprehensive compositional generalization evaluation benchmark of MCTG is still lacking. We propose CompMCTG, a benchmark encompassing diverse multi-aspect labeled datasets and a crafted three-dimensional evaluation protocol, to holistically evaluate the compositional generalization of MCTG approaches. We observe that existing MCTG works generally confront a noticeable performance drop in compositional testing. To mitigate this issue, we introduce Meta-MCTG, a training framework incorporating meta-learning, where we enable models to learn how to generalize by simulating compositional generalization scenarios in the training phase. We demonstrate the effectiveness of Meta-MCTG through achieving obvious improvement (by at most 3.64%) for compositional testing performance in 94.4% cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL