Benchmarking and Improving Compositional Generalization of Multi-aspect Controllable Text Generation

要約

構成的一般化は、トレーニング データから単一の属性を再結合することによって得られる新しい属性の組み合わせでテキストを生成するモデルの能力を表し、マルチアスペクト制御可能なテキスト生成 (MCTG) メソッドにとって重要な特性です。
それにもかかわらず、MCTG の包括的な構成一般化評価ベンチマークはまだ不足しています。
我々は、MCTGアプローチの構成的一般化を総合的に評価するために、多様なマルチアスペクトラベル付きデータセットと巧妙に作成された3次元評価プロトコルを含むベンチマークであるCompMCTGを提案します。
既存の MCTG 作品は一般に、構成テストで顕著なパフォーマンスの低下に直面していることが観察されています。
この問題を軽減するために、メタ学習を組み込んだトレーニング フレームワークである Meta-MCTG を導入します。これにより、トレーニング フェーズで構成的汎化シナリオをシミュレートすることで、モデルが汎化方法を学習できるようになります。
当社は、94.4% のケースで組成検査のパフォーマンスに明らかな改善 (最大 3.64%) を達成することで、Meta-MCTG の有効性を実証しました。

要約(オリジナル)

Compositional generalization, representing the model’s ability to generate text with new attribute combinations obtained by recombining single attributes from the training data, is a crucial property for multi-aspect controllable text generation (MCTG) methods. Nonetheless, a comprehensive compositional generalization evaluation benchmark of MCTG is still lacking. We propose CompMCTG, a benchmark encompassing diverse multi-aspect labeled datasets and a crafted three-dimensional evaluation protocol, to holistically evaluate the compositional generalization of MCTG approaches. We observe that existing MCTG works generally confront a noticeable performance drop in compositional testing. To mitigate this issue, we introduce Meta-MCTG, a training framework incorporating meta-learning, where we enable models to learn how to generalize by simulating compositional generalization scenarios in the training phase. We demonstrate the effectiveness of Meta-MCTG through achieving obvious improvement (by at most 3.64%) for compositional testing performance in 94.4% cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google