Retrieval is Accurate Generation

要約

標準言語モデルは、固定、有限、およびスタンドアロンの語彙からトークンを選択することによってテキストを生成します。
サポート文書のコレクションから文脈を意識したフレーズを選択する新しい方法を紹介します。
このパラダイム シフトにおける最も重要な課題の 1 つは、トレーニング オラクルを決定することです。テキスト文字列はさまざまな方法でセグメント化でき、各セグメントは多数のドキュメントから取得できるためです。
これに対処するために、言語ヒューリスティックを使用してトレーニング オラクルを初期化し、さらに重要なことに、反復的な自己強化によってオラクルをブートストラップすることを提案します。
広範な実験により、私たちのモデルがさまざまな知識集約型タスクで標準言語モデルを上回るパフォーマンスを発揮するだけでなく、オープンエンドのテキスト生成において生成品質の向上が実証されたことが示されました。
たとえば、対応する標準言語モデルと比較して、私たちのモデルは OpenbookQA での精度が 23.47% から 36.27% に向上し、オープンエンド テキスト生成での MAUVE スコアが 42.61% から 81.58% に向上しました。
驚くべきことに、私たちのモデルは、いくつかの検索拡張ベースラインの中で最高のパフォーマンスと最低のレイテンシも達成しています。
結論として、私たちは検索がより正確な生成であると主張し、私たちの研究がこの新しいパラダイムシフトに関するさらなる研究を促進することを願っています。

要約(オリジナル)

Standard language models generate text by selecting tokens from a fixed, finite, and standalone vocabulary. We introduce a novel method that selects context-aware phrases from a collection of supporting documents. One of the most significant challenges for this paradigm shift is determining the training oracles, because a string of text can be segmented in various ways and each segment can be retrieved from numerous possible documents. To address this, we propose to initialize the training oracles using linguistic heuristics and, more importantly, bootstrap the oracles through iterative self-reinforcement. Extensive experiments show that our model not only outperforms standard language models on a variety of knowledge-intensive tasks but also demonstrates improved generation quality in open-ended text generation. For instance, compared to the standard language model counterpart, our model raises the accuracy from 23.47% to 36.27% on OpenbookQA, and improves the MAUVE score from 42.61% to 81.58% in open-ended text generation. Remarkably, our model also achieves the best performance and the lowest latency among several retrieval-augmented baselines. In conclusion, we assert that retrieval is more accurate generation and hope that our work will encourage further research on this new paradigm shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google