Integrative Decoding: Improve Factuality via Implicit Self-consistency

要約

複数の出力を繰り返しサンプリングし、最終的な応答として最も一貫したものを選択することを伴う自己整合性に基づくアプローチは、大規模な言語モデルの事実上の精度を改善するのに非常に効果的であることが証明されています。
それにもかかわらず、既存のメソッドは通常、タスク形式に厳密な制約を備えており、その適用性を大きく制限しています。
このホワイトペーパーでは、統合デコード（ID）を提示して、オープンエンドジェネレーションタスクの自己整合性の可能性を解き放ちます。
IDは、入力のセットを構築することで動作し、それぞれが以前にサンプリングされた応答で準備され、次にそれらを同時に処理し、次のトークンは、各デコードステップで対応するすべての予測を集約することによって選択されます。
本質的に、この単純なアプローチは、デコード目標に暗黙的に自己整合性を組み込んでいます。
広範な評価によると、IDは幅広い言語モデルにわたって一貫して事実を高め、真実のqa（+11.2％）、伝記（+15.4％）、およびlongfact（+8.5％）のベンチマークを大幅に改善しています。
サンプリングされた応答の数が増加すると、パフォーマンスが徐々に増幅され、サンプリングが繰り返されるとIDがスケールアップする可能性が示されます。

要約(オリジナル)

Self-consistency-based approaches, which involve repeatedly sampling multiple outputs and selecting the most consistent one as the final response, prove to be remarkably effective in improving the factual accuracy of large language models. Nonetheless, existing methods usually have strict constraints on the task format, largely limiting their applicability. In this paper, we present Integrative Decoding (ID), to unlock the potential of self-consistency in open-ended generation tasks. ID operates by constructing a set of inputs, each prepended with a previously sampled response, and then processes them concurrently, with the next token being selected by aggregating of all their corresponding predictions at each decoding step. In essence, this simple approach implicitly incorporates self-consistency in the decoding objective. Extensive evaluation shows that ID consistently enhances factuality over a wide range of language models, with substantial improvements on the TruthfulQA (+11.2%), Biographies (+15.4%) and LongFact (+8.5%) benchmarks. The performance gains amplify progressively as the number of sampled responses increases, indicating the potential of ID to scale up with repeated sampling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google