Mitigating Reversal Curse via Semantic-aware Permutation Training

要約

大規模言語モデル (LLM) はさまざまなタスクにわたって優れたパフォーマンスを達成していますが、最近の研究では、因果関係のある LLM が「逆転の呪い」に悩まされていることが示されています。
モデルは「A の父親が B である」ことは知っているが、「B の子供が A である」という推論ができないという典型的な例です。
この制限は、双方向推論を理解して適用するモデルの能力にギャップがあることを示唆しているため、汎用人工知能 (AGI) の進歩に課題をもたらしています。
この論文では、まず実質的な評価を実施し、逆転の呪いの根本原因が訓練段階と推論段階の間の語順の違い、つまり訓練データ内の先行語を予測する因果言語モデルの能力が低いことにあることを特定します。
したがって、トレーニング データの順列は、モデルに先行単語またはトークンを予測させることができるため、潜在的な解決策として考慮されます。
ただし、以前の置換方法では完全なフレーズやエンティティが破壊される可能性があるため、モデルがトレーニング データを理解して学習することが困難になります。
この問題に対処するために、私たちはセマンティックを意識した置換トレーニング (SPT) を提案します。これは、アシスタント言語モデルを使用してトレーニング文を意味単位 (つまり、エンティティまたはフレーズ) に分割し、モデルに入力する前にこれらの単位を並べ替えることによってこの問題に対処します。
逆質問のパフォーマンスは順質問のパフォーマンスに近似しており、既存の作品のパフォーマンスを大幅に向上させるため、SPT は逆転の呪いを効果的に軽減することが広範な実験によって実証されています。

要約(オリジナル)

While large language models (LLMs) have achieved impressive performance across diverse tasks, recent studies showcase that causal LLMs suffer from the ‘reversal curse’. It is a typical example that the model knows ‘A’s father is B’, but is unable to reason ‘B’s child is A’. This limitation poses a challenge to the advancement of artificial general intelligence (AGI), as it suggests a gap in the models’ ability to comprehend and apply bidirectional reasoning. In this paper, we first conduct substantial evaluation and identify that the root cause of the reversal curse lies in the different word order between the training and inference stage, namely, the poor ability of causal language models to predict antecedent words within the training data. Accordingly, permutation on the training data is considered as a potential solution, since this can make the model predict antecedent words or tokens. However, previous permutation methods may disrupt complete phrases or entities, thereby posing challenges for the model to comprehend and learn from training data. To address this issue, we propose Semantic-aware Permutation Training (SPT), which addresses this issue by segmenting the training sentences into semantic units (i.e., entities or phrases) with an assistant language model and permuting these units before feeding into the model. Extensive experiments demonstrate that SPT effectively mitigates the reversal curse since the performance on reversed questions approximates that on the forward ones, and significantly advances the performance of existing works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google