RARR: Researching and Revising What Language Models Say, Using Language Models

要約

言語モデル (LM) は現在、数回の学習、質問応答、推論、対話などの多くのタスクに優れています。
ただし、サポートされていないコンテンツや誤解を招くコンテンツが生成される場合があります。
ほとんどの LM には外部証拠への帰属を示すメカニズムが組み込まれていないため、ユーザーは自分の出力が信頼できるかどうかを簡単に判断できません。
最近の世代モデルのすべての強力な利点を維持しながら帰属を可能にするために、私たちは RARR (Retrofit Attribution using Research and Revision) を提案します。これは、1) テキスト生成モデルの出力の帰属を自動的に見つけ、2) テキスト生成モデルを事後編集するシステムです。
出力を使用して、元の出力を可能な限り維持しながら、サポートされていないコンテンツを修正します。
さまざまな生成タスクのセットに関するいくつかの最先端の LM の出力に適用すると、RARR は以前に調査された編集モデルよりもはるかに高い程度で元の入力を保存しながら、アトリビューションを大幅に向上させることがわかりました。
さらに、RARR の実装には、少数のトレーニング サンプル、大規模な言語モデル、および標準的な Web 検索のみが必要です。

要約(オリジナル)

Language models (LMs) now excel at many tasks such as few-shot learning, question answering, reasoning, and dialog. However, they sometimes generate unsupported or misleading content. A user cannot easily determine whether their outputs are trustworthy or not, because most LMs do not have any built-in mechanism for attribution to external evidence. To enable attribution while still preserving all the powerful advantages of recent generation models, we propose RARR (Retrofit Attribution using Research and Revision), a system that 1) automatically finds attribution for the output of any text generation model and 2) post-edits the output to fix unsupported content while preserving the original output as much as possible. When applied to the output of several state-of-the-art LMs on a diverse set of generation tasks, we find that RARR significantly improves attribution while otherwise preserving the original input to a much greater degree than previously explored edit models. Furthermore, the implementation of RARR requires only a handful of training examples, a large language model, and standard web search.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google