A Unified Encoder-Decoder Framework with Entity Memory

要約

タイトル：エンティティメモリを備えた統合エンコーダーデコーダーフレームワーク
要約：

– NLPタスクにおいて、実世界の知識の重要なキャリアであるエンティティは、重要な役割を果たしている。
– 情報的なテキスト生成のために、エンティティの知識をエンコーダーデコーダーフレームワークに統合することに注目する。
– 既存のアプローチは、外部文書を索引化、取得、読み込み、証拠として使用することを試みたが、計算オーバーヘッドが大きくなってしまっている。
– 本研究では、エンティティメモリを備えたエンコーダーデコーダーフレームワークを提案する。エンティティ知識は潜在表現としてメモリに格納され、メモリはエンコーダーデコーダーパラメータとともにWikipediaで事前に学習される。
– エンティティ名を正確に生成するために、メモリ内のエンティティをリンクしてエンティティ生成を制約する3つのデコード方法を設計する。
– EDMemは、各種エンティティ集中型の質問応答や生成タスクで使用できる統合フレームワークである。
– 広範な実験結果は、EDMemがメモリベースのオートエンコーダーモデルと非メモリエンコーダーデコーダーモデルの両方を上回っていることを示している。

要約(オリジナル)

Entities, as important carriers of real-world knowledge, play a key role in many NLP tasks. We focus on incorporating entity knowledge into an encoder-decoder framework for informative text generation. Existing approaches tried to index, retrieve, and read external documents as evidence, but they suffered from a large computational overhead. In this work, we propose an encoder-decoder framework with an entity memory, namely EDMem. The entity knowledge is stored in the memory as latent representations, and the memory is pre-trained on Wikipedia along with encoder-decoder parameters. To precisely generate entity names, we design three decoding methods to constrain entity generation by linking entities in the memory. EDMem is a unified framework that can be used on various entity-intensive question answering and generation tasks. Extensive experimental results show that EDMem outperforms both memory-based auto-encoder models and non-memory encoder-decoder models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI