Learning Disentangled Semantic Spaces of Explanations via Invertible Neural Networks

要約

もつれが解けた潜在空間は通常、意味論的な分離性と幾何学的特性が優れているため、解釈可能性が向上し、データ生成がより制御可能になります。
これはコンピュータ ビジョンや画像のもつれ解除などのタスクでよく研究されていますが、NLP ドメインでは文のもつれの解除はまだ比較的十分に研究されていません。
これまでの研究のほとんどは、スタイル伝達の文脈内で感情などのタスク固有の生成要因を解きほぐすことに集中していました。
この研究では、より一般的な文の意味論的特徴の局所的な変更と制御をターゲットとして、より一般的な形式の文のもつれ解除に焦点を当てます。
これを達成するために、私たちは文の意味論的もつれを解くという新しい概念に貢献し、より優れた分離性特性を持つ潜在空間を提供するために、トランスフォーマーベースの言語オートエンコーダー (AE) と統合されたフローベースの可逆ニューラル ネットワーク (INN) メカニズムを導入します。
実験結果は、このモデルが分散潜在空間をより意味的に解きほぐされた文空間に適合させることができ、最近の最先端の言語 VAE モデルと比較した場合に、言語の解釈可能性の向上と制御された生成につながることを示しています。

要約(オリジナル)

Disentangled latent spaces usually have better semantic separability and geometrical properties, which leads to better interpretability and more controllable data generation. While this has been well investigated in Computer Vision, in tasks such as image disentanglement, in the NLP domain sentence disentanglement is still comparatively under-investigated. Most previous work have concentrated on disentangling task-specific generative factors, such as sentiment, within the context of style transfer. In this work, we focus on a more general form of sentence disentanglement, targeting the localised modification and control of more general sentence semantic features. To achieve this, we contribute to a novel notion of sentence semantic disentanglement and introduce a flow-based invertible neural network (INN) mechanism integrated with a transformer-based language Autoencoder (AE) in order to deliver latent spaces with better separability properties. Experimental results demonstrate that the model can conform the distributed latent space into a better semantically disentangled sentence space, leading to improved language interpretability and controlled generation when compared to the recent state-of-the-art language VAE models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google