Memory-Augmented Generative Adversarial Transformers

要約

Transformers のような大規模言語モデルに依存する会話型 AI システムは、生成する言語に外部データ (事実など) を織り交ぜることが困難です。
Vanilla Transformer アーキテクチャは、事実に関する質問に高精度で答えるように設計されていません。
このペーパーでは、この問題に対処するための可能な方法を調査します。
私たちは、追加の情報 (知識ベースから抽出された事実など) を保持する追加のメモリ バンクと、このメモリをアドレス指定するための追加のアテンション レイヤーを使用して、標準の Transformer アーキテクチャを拡張することを提案します。
この拡張されたメモリを、敵対的生成ネットワークにインスピレーションを得た Transformer アーキテクチャに追加します。
この設定により、Transformer の生成された言語に任意のフェリシティ条件を実装することができます。
まず、この機構を、目標指向の対話における事実に関する質問を処理するためにどのように展開できるかを示します。
第二に、私たちのアプローチが、{\it スタイル適応} のようなアプリケーションにも役立つことを示します。これは、対話における人間の対話者の社会的特性など、特定の文体 (外部) 制約に従って発話を適応することです。

要約(オリジナル)

Conversational AI systems that rely on Large Language Models, like Transformers, have difficulty interweaving external data (like facts) with the language they generate. Vanilla Transformer architectures are not designed for answering factual questions with high accuracy. This paper investigates a possible route for addressing this problem. We propose to extend the standard Transformer architecture with an additional memory bank holding extra information (such as facts drawn from a knowledge base), and an extra attention layer for addressing this memory. We add this augmented memory to a Generative Adversarial Network-inspired Transformer architecture. This setup allows for implementing arbitrary felicity conditions on the generated language of the Transformer. We first demonstrate how this machinery can be deployed for handling factual questions in goal-oriented dialogues. Secondly, we demonstrate that our approach can be useful for applications like {\it style adaptation} as well: the adaptation of utterances according to certain stylistic (external) constraints, like social properties of human interlocutors in dialogues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google