Learning Disentangled Semantic Spaces of Explanations via Invertible Neural Networks

要約

タイトル：Invertible Neural Networksを用いた説明の非分離型意味空間の学習
要約：連続空間上での文表現の分離は、明確な生成要因を局所化することで解釈可能性と意味的制御を向上させるために、重要なプロセスである。このプロセスは、シンボルモデルの特徴を保持しながら、ニューラルベースの言語モデルにいくつかの利点を与える。本研究では、流ベースのInvertible Neural Network（INN）の支援を得て、BERT-GPT2オートエンコーダーの隠れた空間を分離し、より分離できる意味的空間に変換する方法を示している。実験結果は、INNが分散された隠れた空間をより意味的に分離された潜在空間に変換できることを示し、最近の最先端モデルと比較して解釈可能性と制御可能性が向上することを示している。
– 連続空間上での文表現の分離は、解釈可能性と意味的制御を向上させるために重要
– この分離はシンボルモデルの特徴を保持しながら、ニューラルベースの言語モデルにいくつかの利点を与える
– 本研究では、流ベースのInvertible Neural Network（INN）の支援を得て、BERT-GPT2オートエンコーダーの隠れた空間を分離し、意味的に分離できる潜在空間に変換する方法を示す
– 実験結果は、INNが分散された隠れた空間をより意味的に分離された潜在空間に変換できることを示し、最近の最先端モデルと比較して解釈可能性と制御可能性が向上することを示す。

要約(オリジナル)

Disentangling sentence representations over continuous spaces can be a critical process in improving interpretability and semantic control by localising explicit generative factors. Such process confers to neural-based language models some of the advantages that are characteristic of symbolic models, while keeping their flexibility. This work presents a methodology for disentangling the hidden space of a BERT-GPT2 autoencoder by transforming it into a more separable semantic space with the support of a flow-based invertible neural network (INN). Experimental results indicate that the INN can transform the distributed hidden space into a better semantically disentangled latent space, resulting in better interpretability and controllability, when compared to recent state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI