P-Masking: Power Law Masking Improves Multi-attribute Controlled Generation

要約

属性の数が異なる場合でも、幅広い言語属性を正確に制御できる、制御されたテキスト生成のための新しいアプローチである LingGen を紹介します。
LingGen は、トレーニング中にべき乗則分布からマスキング レートをサンプリングする動的 P-MASKING 戦略を採用しています。
この革新的なアプローチにより、モデルは堅牢な表現を開発し、単一の属性から複数の複雑な構成まで、さまざまな数の属性にわたってその属性制御機能を適応させることができます。
P-MASKING 技術は、さまざまなレベルの属性可視性を管理する LingGen の機能を強化し、その結果、複数属性生成タスクで優れたパフォーマンスが得られます。
私たちの実験では、LingGen が属性制御の精度とテキストの流暢性の両方において現在の最先端のモデルを上回り、特に属性の要求が異なるシナリオで優れていることが実証されました。
さらに、私たちのアブレーション研究では、P-MASKING の有効性と、パフォーマンスに対するさまざまな基本言語モデルの影響が強調されています。
これらの発見は、テキスト生成における複数の言語属性に対する正確かつ適応性のある制御を必要とするアプリケーションに対する LingGen の可能性を示しています。

要約(オリジナル)

We introduce LingGen, a novel approach for controlled text generation that offers precise control over a wide array of linguistic attributes, even as the number of attributes varies. LingGen employs a dynamic P-MASKING strategy, which samples masking rates from a power law distribution during training. This innovative approach enables the model to develop robust representations and adapt its attribute control capabilities across a variable number of attributes, from a single attribute to multiple complex configurations. The P-MASKING technique enhances LingGen’s ability to manage different levels of attribute visibility, resulting in superior performance in multi-attribute generation tasks. Our experiments demonstrate that LingGen surpasses current state-of-the-art models in both attribute control accuracy and text fluency, particularly excelling in scenarios with varying attribute demands. Additionally, our ablation studies highlight the effectiveness of P-MASKING and the influence of different base language models on performance. These findings demonstrate LingGen’s potential for applications requiring precise and adaptable control over multiple linguistic attributes in text generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google