LLMs can learn self-restraint through iterative self-reflection

要約

ラージ・ランゲージ・モデル（LLM）を安全に導入するためには、特定のトピックに関する知識や不確実性のレベルに応じて、その振る舞いを動的に適応させる能力が必要である。この適応的な振る舞いは、LLMの内部知識に依存するため、私たちが自己抑制と呼ぶもので、教えるのは自明ではない。デフォルトでは、LLMは次のトークンの尤度を最大化するように学習されるが、これはモデルが不確実性のレベルに基づいて答えを調整することを教えない。自己抑制を学習するために、我々はモデルが自信のあるときだけ回答を出すように促す効用関数を考案する。この効用関数は、異なる長さの生成と棄権をスコア化するために使用できる。この関数を最適化するために、反復的な自己促成と自己評価からなる「自己反省」のプロセスであるReSearchを導入する。我々はReSearchアルゴリズムを用いて、我々のモデルを微調整するための合成データを生成する。その結果、元のバージョンと比較して、我々のモデルは、選択的に自制することを学習するため、既知と未知のトピックの両方について、追加の推論コストなしで、全体として、より少ない「幻覚」を生成する。加えて、我々の方法は、探索手順中にモデルによって生成されたサンプルを、棄権を表す回答で補強することによって、棄権する能力をエレガントに組み込んでいる。

要約(オリジナル)

In order to be deployed safely, Large Language Models (LLMs) must be capable of dynamically adapting their behavior based on their level of knowledge and uncertainty associated with specific topics. This adaptive behavior, which we refer to as self-restraint, is non-trivial to teach since it depends on the internal knowledge of an LLM. By default, LLMs are trained to maximize the next token likelihood, which does not teach the model to modulate its answer based on its level of uncertainty. In order to learn self-restraint, we devise a utility function that can encourage the model to produce responses only when it is confident in them. This utility function can be used to score generation of different length and abstention. To optimize this function, we introduce ReSearch, a process of ‘self-reflection’ consisting of iterative self-prompting and self-evaluation. We use the ReSearch algorithm to generate synthetic data on which we finetune our models. Compared to their original versions, our resulting models generate fewer \emph{hallucinations} overall at no additional inference cost, for both known and unknown topics, as the model learns to selectively restrain itself. In addition, our method elegantly incorporates the ability to abstain by augmenting the samples generated by the model during the search procedure with an answer expressing abstention.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL