LlaMaVAE: Guiding Large Language Model Generation via Continuous Latent Sentence Spaces

要約

変分オートエンコーダ (VAE) などのディープ生成ニューラル ネットワークは、文レベルの潜在空間の観点から言語モデルをよりよく理解し、制御する機会を提供します。
VAE 潜在空間の制御性と最近の大規模言語モデル (LLM) の最先端のパフォーマンスを組み合わせるために、この研究では、表現力豊かなエンコーダーおよびデコーダー モデル (sentenceT5 および LlaMA) を VAE アーキテクチャと組み合わせた LlaMaVAE を紹介します。
、LLM により良いテキスト生成制御を提供することを目的としています。
さらに、VAE 生成を条件付きでガイドするために、Invertible CVAE と呼ばれるフローベースの可逆ニューラル ネットワーク (INN) に基づく新しいアプローチを調査します。
実験結果では、LlaMaVAE が、言語モデリング、意味論的なテキスト類似性、定義モデリングなどのさまざまなタスクにわたって、以前の最先端の VAE 言語モデルである Optimus を上回るパフォーマンスを発揮できることが明らかになりました。
内挿およびトラバーサル実験の定性分析でも、セマンティック クラスタリングと幾何学的一貫性の度合いが向上し、より適切な生成制御が可能になることが示されています。

要約(オリジナル)

Deep generative neural networks, such as Variational AutoEncoders (VAEs), offer an opportunity to better understand and control language models from the perspective of sentence-level latent spaces. To combine the controllability of VAE latent spaces with the state-of-the-art performance of recent large language models (LLMs), we present in this work LlaMaVAE, which combines expressive encoder and decoder models (sentenceT5 and LlaMA) with a VAE architecture, aiming to provide better text generation control to LLMs. In addition, to conditionally guide the VAE generation, we investigate a new approach based on flow-based invertible neural networks (INNs) named Invertible CVAE. Experimental results reveal that LlaMaVAE can outperform the previous state-of-the-art VAE language model, Optimus, across various tasks, including language modelling, semantic textual similarity and definition modelling. Qualitative analysis on interpolation and traversal experiments also indicates an increased degree of semantic clustering and geometric consistency, which enables better generation control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google