Are We Falling in a Middle-Intelligence Trap? An Analysis and Mitigation of the Reversal Curse

要約

最近の研究では、トレーニング データ内の知識エンティティの順序がモデルの理解に偏りをもたらす、「逆転の呪い」として知られる大規模言語モデル (LLM) の現象が浮き彫りになっています。
たとえば、エンティティ A がエンティティ B の前に一貫して現れる文でモデルがトレーニングされた場合、モデルは B を提供することで A に関するクエリに応答できます。ただし、B に関する質問が提示されると混乱が生じる可能性があります。逆転の呪いは次のようなものであると私たちは主張します。
これは部分的には特定のモデル トレーニング目標の結果であり、特にほとんどの因果的言語モデル内でネクスト トークン予測が広く使用されていることから明らかです。
次のトークンの予測では、モデルはトークンの前のコンテキストのみに焦点を当てるため、入力の理解が制限されます。
対照的に、予測対象のトークンがコンテキスト全体にアクセスできる自己回帰空白埋め目標を使用してトレーニングされた GLM は、逆転の呪いに対して優れた回復力を示すことを示します。
我々は、新しいデータで事前トレーニングされた因果言語モデルを微調整する際の逆転の呪いを軽減するように設計された、新しいトレーニング手法である双方向カジュアル言語モデリング最適化 (BICO) を提案します。
BICO は、双方向に機能するように因果的注意メカニズムを変更し、マスクのノイズ除去の最適化を採用します。
逆転の呪いを評価するために設計されたタスクでは、私たちのアプローチにより、ラマの精度が元の 0% から約 70% に向上しました。
より高いレベルのインテリジェンスを達成するために、現在の LLM に固有の弱点の調査と対処にもっと注目が集まることを願っています。

要約(オリジナル)

Recent studies have highlighted a phenomenon in large language models (LLMs) known as ‘the reversal curse,’ in which the order of knowledge entities in the training data biases the models’ comprehension. For example, if a model is trained on sentences where entity A consistently appears before entity B, it can respond to queries about A by providing B. However, it may encounter confusion when presented with questions concerning B. We contend that the reversal curse is partially a result of specific model training objectives, particularly evident in the prevalent use of the next-token prediction within most causal language models. For the next-token prediction, models solely focus on a token’s preceding context, resulting in a restricted comprehension of the input. In contrast, we illustrate that the GLM, trained using the autoregressive blank infilling objective where tokens to be predicted have access to the entire context, exhibits better resilience against the reversal curse. We propose a novel training method, BIdirectional Casual language modeling Optimization (BICO), designed to mitigate the reversal curse when fine-tuning pretrained causal language models on new data. BICO modifies the causal attention mechanism to function bidirectionally and employs a mask denoising optimization. In the task designed to assess the reversal curse, our approach improves Llama’s accuracy from the original 0% to around 70%. We hope that more attention can be focused on exploring and addressing these inherent weaknesses of the current LLMs, in order to achieve a higher level of intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google