Set-Based Prompting: Provably Solving the Language Model Order Dependency Problem

要約

自己回帰を介して長く一貫したテキスト出力を作成できる生成言語モデルの開発により、この新しいパラダイムの限界を特定するための研究が進められ、その使用法が急増し、それに対応する分析が広範囲に行われるようになりました。
人間とは異なり、これらの「大規模言語モデル」(LLM) は入力の小さな変化に非常に敏感であり、動作に望ましくない不一致を引き起こします。
多肢選択式の質問に回答したり、複数の入力を分析したりするために LLM を使用する場合、問題となる矛盾の 1 つは順序依存性です。つまり、両方の順序が意味的に同一であるにもかかわらず、サブシーケンスが交換されると、LLM の出力が大幅に変化する可能性があります (実際に変化することもよくあります)。
この論文では、LLM の出力が指定されたサブシーケンスのセットに順序に依存しないことを保証する手法であるセットベース プロンプティングを紹介します。
この方法は順序依存性を確実に排除し、任意のトランスフォーマベースの LLM に適用して、再順序付けの影響を受けないテキスト生成を可能にすることができることを示します。
私たちの方法の意味を深く掘り下げると、入力が分布から外れているにもかかわらず、期待される精度への影響は小さく、期待値は候補応答の一様に選択されたシャッフルのオーダーを超えており、通常は実際にはかなり低いことがわかります。
。
したがって、セットベースのプロンプトは、完全にトレーニングされたモデルの「ドロップイン」メソッドとして使用できます。
最後に、私たちの手法の成功が、入力表現を変更することで LLM のパフォーマンスに関する他の強力な保証が得られることをどのように示唆しているかについて説明します。

要約(オリジナル)

The development of generative language models that can create long and coherent textual outputs via autoregression has lead to a proliferation of uses and a corresponding sweep of analyses as researches work to determine the limitations of this new paradigm. Unlike humans, these ‘Large Language Models’ (LLMs) are highly sensitive to small changes in their inputs, leading to unwanted inconsistency in their behavior. One problematic inconsistency when LLMs are used to answer multiple-choice questions or analyze multiple inputs is order dependency: the output of an LLM can (and often does) change significantly when sub-sequences are swapped, despite both orderings being semantically identical. In this paper we present Set-Based Prompting, a technique that guarantees the output of an LLM will not have order dependence on a specified set of sub-sequences. We show that this method provably eliminates order dependency, and that it can be applied to any transformer-based LLM to enable text generation that is unaffected by re-orderings. Delving into the implications of our method, we show that, despite our inputs being out of distribution, the impact on expected accuracy is small, where the expectation is over the order of uniformly chosen shuffling of the candidate responses, and usually significantly less in practice. Thus, Set-Based Prompting can be used as a ‘dropped-in’ method on fully trained models. Finally, we discuss how our method’s success suggests that other strong guarantees can be obtained on LLM performance via modifying the input representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google