Reverse Training to Nurse the Reversal Curse

要約

大規模言語モデル (LLM) には驚くべき失敗があります。「A には特徴 B がある」でトレーニングされた場合、「B は A の特徴である」に一般化されません。これは逆転の呪いと呼ばれます。
数兆のトークンを使用してトレーニングする場合でも、Zipf の法則により、この問題は依然として発生します。したがって、インターネット全体でトレーニングした場合でも同様です。
この研究では、すべての単語が 2 回使用され、利用可能なトークンの量が 2 倍になる、リバース トレーニングと呼ばれる代替トレーニング スキームを提案しています。
LLM は、エンティティなどの選択された部分文字列を保持しながら (つまり、反転せずに) トレーニング文字列を反転することによって、順方向と逆方向の両方でトレーニングされます。
データが一致した逆トレーニングされたモデルは標準タスクで標準モデルよりも優れたパフォーマンスを提供し、計算が一致した逆トレーニングされたモデルは逆転タスクではるかに優れたパフォーマンスを提供し、逆転の呪いの問題の解決に役立つことを示します。

要約(オリジナル)

Large language models (LLMs) have a surprising failure: when trained on ‘A has a feature B’, they do not generalize to ‘B is a feature of A’, which is termed the Reversal Curse. Even when training with trillions of tokens this issue still appears due to Zipf’s law – hence even if we train on the entire internet. This work proposes an alternative training scheme, called reverse training, whereby all words are used twice, doubling the amount of available tokens. The LLM is trained in both forward and reverse directions by reversing the training strings while preserving (i.e., not reversing) chosen substrings, such as entities. We show that data-matched reverse-trained models provide superior performance to standard models on standard tasks, and compute-matched reverse-trained models provide far superior performance on reversal tasks, helping resolve the reversal curse issue.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google