Adapter-TST: A Parameter Efficient Method for Multiple-Attribute Text Style Transfer

要約

タイトル：Adapter-TST: 複数属性テキストスタイルトランスファーの効率的なパラメータメソッド

要約：
– 大規模言語モデルのファインチューニングを利用した複数属性テキストスタイルトランスファーは、特定のタスクに必要な計算リソースとラベル付きデータの量が多いため、挑戦となる。
– 本論文では、AdapterTSTを導入することで、この問題に対処します。このフレームワークは、事前学習モデルの元のパラメータをフリーズして、複数属性テキストスタイルトランスファーモデルの開発を可能にします。
– Adapter-TSTは、BARTをバックボーンモデルとして使用し、異なるニューラルアダプタを使用して、感情、時制、声などのさまざまな属性情報を捉えることができます。BARTに接続されたプラグインのようなものと考えられます。
– この方法により、1つの文章の中で複数の属性を制御し、アダプタのアーキテクチャを構成して、同じ文章の同音編集などの複数の出力を生成できます。
– 提案されたモデルは、従来の感情トランスファータスクと複数属性トランスファータスクの両方で評価されました。実験の結果、Adapter-TSTは、より少ない計算リソースですべての最新のベースラインよりも優れた性能を発揮することが証明されました。
– また、各アダプタが効果的に特定のスタイル属性を捉え、合成編集を実行するように構成できることが実証されました。

要約(オリジナル)

Adapting a large language model for multiple-attribute text style transfer via fine-tuning can be challenging due to the significant amount of computational resources and labeled data required for the specific task. In this paper, we address this challenge by introducing AdapterTST, a framework that freezes the pre-trained model’s original parameters and enables the development of a multiple-attribute text style transfer model. Using BART as the backbone model, Adapter-TST utilizes different neural adapters to capture different attribute information, like a plug-in connected to BART. Our method allows control over multiple attributes, like sentiment, tense, voice, etc., and configures the adapters’ architecture to generate multiple outputs respected to attributes or compositional editing on the same sentence. We evaluate the proposed model on both traditional sentiment transfer and multiple-attribute transfer tasks. The experiment results demonstrate that Adapter-TST outperforms all the state-of-the-art baselines with significantly lesser computational resources. We have also empirically shown that each adapter is able to capture specific stylistic attributes effectively and can be configured to perform compositional editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI