In-context Interference in Chat-based Large Language Models

要約

大規模言語モデル (LLM) は、その優れた機能と世界に関する膨大な知識により、社会に多大な影響を与えてきました。
ユーザーがブラックボックス シナリオでこれらのモデルを操作できるようにするさまざまなアプリケーションやツールが作成されています。
ただし、このシナリオの制限の 1 つは、ユーザーがモデルの内部ナレッジを変更できないことです。内部ナレッジを追加または変更する唯一の方法は、現在の対話中にモデルに明示的に言及することです。
この学習プロセスはインコンテキスト トレーニングと呼ばれ、ユーザーの現在のセッションまたはコンテキストに限定されたトレーニングを指します。
コンテキスト内学習には重要な用途がありますが、ほとんど研究されていない制限もあります。
この論文では、コンテキスト内を継続的に流れる情報間の干渉によってモデルがどのように影響を受け、以前に学習した知識を忘れてしまい、モデルのパフォーマンスが低下する可能性があるかを示す研究を紹介します。
問題を示すとともに、bAbI データセットに基づく評価ベンチマークを提案します。

要約(オリジナル)

Large language models (LLMs) have had a huge impact on society due to their impressive capabilities and vast knowledge of the world. Various applications and tools have been created that allow users to interact with these models in a black-box scenario. However, one limitation of this scenario is that users cannot modify the internal knowledge of the model, and the only way to add or modify internal knowledge is by explicitly mentioning it to the model during the current interaction. This learning process is called in-context training, and it refers to training that is confined to the user’s current session or context. In-context learning has significant applications, but also has limitations that are seldom studied. In this paper, we present a study that shows how the model can suffer from interference between information that continually flows in the context, causing it to forget previously learned knowledge, which can reduce the model’s performance. Along with showing the problem, we propose an evaluation benchmark based on the bAbI dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google