Formal Semantic Geometry over Transformer-based Variational AutoEncoder

要約

形式的/記号的セマンティクスは、\textit{localisation} または \textit{composition} プロパティにより、文表現に標準的で厳密な制御性と解釈性を提供できます。
言語モデル (LM) の生成を制御および解釈するために、このようなプロパティを現在の分布文表現にどのように提供できるでしょうか?
この研究では、理論的に文の意味を \textit{意味の役割 – 単語の内容} の特徴の構成として組み立て、形式的な意味の幾何学を提案します。
このようなジオメトリを Transformer ベースの LM (つまり GPT2) に注入するために、監視アプローチを備えた Transformer ベースの変分 AutoEncoder を展開します。そこでは、文の生成を操作し、低次元の潜在ガウス空間上で説明できます。
さらに、そのような幾何学上の文ベクトルの動きをガイドする新しい探索アルゴリズムを提案します。
実験結果は、形式的な意味論的幾何学が文の生成により良い制御と解釈を提供できる可能性があることを明らかにしています。

要約(オリジナル)

Formal/symbolic semantics can provide canonical, rigid controllability and interpretability to sentence representations due to their \textit{localisation} or \textit{composition} property. How can we deliver such property to the current distributional sentence representations to control and interpret the generation of language models (LMs)? In this work, we theoretically frame the sentence semantics as the composition of \textit{semantic role – word content} features and propose the formal semantic geometry. To inject such geometry into Transformer-based LMs (i.e. GPT2), we deploy Transformer-based Variational AutoEncoder with a supervision approach, where the sentence generation can be manipulated and explained over low-dimensional latent Gaussian space. In addition, we propose a new probing algorithm to guide the movement of sentence vectors over such geometry. Experimental results reveal that the formal semantic geometry can potentially deliver better control and interpretation to sentence generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google