Not All Large Language Models (LLMs) Succumb to the ‘Reversal Curse’: A Comparative Study of Deductive Logical Reasoning in BERT and GPT Models

要約

「逆転の呪い」とは、「A は B」でトレーニングされた ChatGPT などの自己回帰デコーダー大規模言語モデル (LLM) が「B は A」の学習に失敗するシナリオを指し、論理演繹の基本的な失敗を示しています。
これは、この対称原則の遵守を考慮すると、ナレッジ グラフの構築などの特定の一般的なタスクで GPT モデルを使用する場合に危険信号を提起します。
私たちの研究では、双方向 LLM、BERT を調べたところ、それが逆転の呪いの影響を受けないことがわかりました。
LLM を使用して生物医学知識グラフを構築する継続的な取り組みを推進して、私たちはより複雑だが不可欠な演繹推論能力の評価にも着手しました。
このプロセスには、最初にエンコーダとデコーダの言語モデルをトレーニングして 2 つの集合に対する積集合 ($\cap$) と和集合 ($\cup$) の演算を習得し、次に和集合 ($\cup$) のさまざまな組み合わせを推論する能力の評価に進むことが含まれていました。
$) および 3 つの新しく作成されたセットに対する交差 ($\cap$) 演算。
その結果、2 つのセット (和集合/積集合) を含むタスク向けにトレーニングされたエンコーダー言語モデルとデコーダー言語モデルの両方が、そのようなシナリオには習熟していましたが、3 つの集合 (和集合と積集合のさまざまな組み合わせ) を含む操作を扱う場合には困難に直面したことがわかりました。
私たちの研究では、単純な論理的推論と複雑な論理的推論によるエンコーダ モデルとデコーダ モデルの明確な特性を浮き彫りにしています。
実際には、BERT と GPT のどちらを選択するかは、双方向のコンテキスト理解とシーケンス予測におけるそれぞれの強みを活用しながら、特定の要件と当面のタスクの性質によって決定される必要があります。

要約(オリジナル)

The ‘Reversal Curse’ refers to the scenario where auto-regressive decoder large language models (LLMs), such as ChatGPT, trained on ‘A is B’ fail to learn ‘B is A’, demonstrating a basic failure of logical deduction. This raises a red flag in the use of GPT models for certain general tasks such as constructing knowledge graphs, considering their adherence to this symmetric principle. In our study, we examined a bidirectional LLM, BERT, and found that it is immune to the reversal curse. Driven by ongoing efforts to construct biomedical knowledge graphs with LLMs, we also embarked on evaluating more complex but essential deductive reasoning capabilities. This process included first training encoder and decoder language models to master the intersection ($\cap$) and union ($\cup$) operations on two sets and then moving on to assess their capability to infer different combinations of union ($\cup$) and intersection ($\cap$) operations on three newly created sets. The findings showed that while both encoder and decoder language models, trained for tasks involving two sets (union/intersection), were proficient in such scenarios, they encountered difficulties when dealing with operations that included three sets (various combinations of union and intersection). Our research highlights the distinct characteristics of encoder and decoder models in simple and complex logical reasoning. In practice, the choice between BERT and GPT should be guided by the specific requirements and nature of the task at hand, leveraging their respective strengths in bidirectional context comprehension and sequence prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google