Explainable and Discourse Topic-aware Neural Language Understanding

要約

トピック モデルと言語モデルを結合すると、言語理解がトピックを介した文を超えたドキュメント レベルのコンテキストのより広範なソースにさらされます。
言語モデルにトピック意味論を導入する一方で、既存のアプローチは潜在的な文書トピックの割合を組み込み、文書の文内のトピックの談話を無視します。
この研究は、言語理解における説明可能なトピック表現を追加導入することにより、研究の範囲を拡張します。この表現は、割合の各潜在トピックに対応する一連の重要な用語から得られます。
さらに、文書内のすべての文について話題の談話をモデル化することで、文書とトピックの関連性とともに文とトピックの関連性も保持します。
我々は、トピックモデルと言語モデルの共同学習フレームワークにおいて、文レベルでの話題の談話とともに、潜在トピックと説明可能なトピックの両方を活用する、新しい神経複合言語モデルを提示します。
言語モデリング、語義の明確化、文書分類、検索、テキスト生成などのさまざまなタスクにわたる実験により、提案されたモデルが言語理解を向上させる能力を実証しています。

要約(オリジナル)

Marrying topic models and language models exposes language understanding to a broader source of document-level context beyond sentences via topics. While introducing topical semantics in language models, existing approaches incorporate latent document topic proportions and ignore topical discourse in sentences of the document. This work extends the line of research by additionally introducing an explainable topic representation in language understanding, obtained from a set of key terms correspondingly for each latent topic of the proportion. Moreover, we retain sentence-topic associations along with document-topic association by modeling topical discourse for every sentence in the document. We present a novel neural composite language model that exploits both the latent and explainable topics along with topical discourse at sentence-level in a joint learning framework of topic and language models. Experiments over a range of tasks such as language modeling, word sense disambiguation, document classification, retrieval and text generation demonstrate ability of the proposed model in improving language understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google