Text Attribute Control via Closed-Loop Disentanglement

要約

内容を変更せずにテキストの属性を変更するには、通常、まずテキストを無関係な属性と内容の表現に分離する必要がある。その後、推論段階で、ある属性の表現を異なる値に調整し、テキストの対応する属性もそれに応じて変更できることを期待する。通常、逆境に基づく制約や相互情報に基づく制約など、エンコーダ・デコーダ・アーキテクチャの潜在空間に制約を加えることが逆接解除の一般的な方法である。しかし、これまでの半教師付き属性変更処理では、属性変更とコンテンツ保存の成功を保証するには不十分である。本論文では、コンテンツの保存性を高めつつ、属性のロバストな制御を実現するための新しいアプローチを提案する。このアプローチでは、半教師付き対照学習法を用いて、潜在空間における属性の分離を促す。先行研究とは異なり、再構成された文の再解離を行い、再解離された潜在空間と元の潜在空間を比較することで、閉ループの解離処理を行う。これは内容の保存にも役立つ。さらに、コントラスト学習法は、逆接処理における相互情報の最小化と敵対的学習の役割を代替することができ、計算コストを軽減することができる。我々は、Yelp Service review dataset、Amazon Product review dataset、GoEmotions datasetの3つのテキストデータセットを用いて実験を行った。実験結果は我々のモデルの有効性を示している。

要約(オリジナル)

Changing an attribute of a text without changing the content usually requires to first disentangle the text into irrelevant attributes and content representations. After that, in the inference phase, the representation of one attribute is tuned to a different value, expecting that the corresponding attribute of the text can also be changed accordingly. The usual way of disentanglement is to add some constraints on the latent space of an encoder-decoder architecture, including adversarial-based constraints and mutual-information-based constraints. However, the previous semi-supervised processes of attribute change are usually not enough to guarantee the success of attribute change and content preservation. In this paper, we propose a novel approach to achieve a robust control of attributes while enhancing content preservation. In this approach, we use a semi-supervised contrastive learning method to encourage the disentanglement of attributes in latent spaces. Differently from previous works, we re-disentangle the reconstructed sentence and compare the re-disentangled latent space with the original latent space, which makes a closed-loop disentanglement process. This also helps content preservation. In addition, the contrastive learning method is also able to replace the role of minimizing mutual information and adversarial training in the disentanglement process, which alleviates the computation cost. We conducted experiments on three text datasets, including the Yelp Service review dataset, the Amazon Product review dataset, and the GoEmotions dataset. The experimental results show the effectiveness of our model.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL