LLM Task Interference: An Initial Study on the Impact of Task-Switch in Conversational History

要約

最近の強力な命令調整型大規模言語モデル (LLM) の出現により、さまざまな有用な会話型人工知能 (AI) システムが多くのアプリケーションに導入されています。
ユーザーの指示に応じて、これらの AI システムは会話の一部として幅広いタスクを正常に実行します。
ある種の記憶とコンテキストを提供するために、このようなアプローチでは通常、会話履歴全体に基づいて出力が条件付けされます。
会話履歴に対するこの敏感さは、多くの場合、その後のタスクのパフォーマンスの向上につながりますが、実際には、タスクの切り替えがある場合にはパフォーマンスに悪影響が及ぶ可能性があることがわかりました。
私たちの知る限り、私たちの研究は、会話履歴におけるタスクスイッチによって引き起こされる会話 LLM のこのような脆弱性とタスクの干渉の研究を形式化する最初の試みです。
一般的な LLM を使用した 15 個のタスク スイッチを含む 5 つのデータセットにわたる実験では、タスク スイッチの多くが大幅なパフォーマンス低下を引き起こす可能性があることが明らかになりました。

要約(オリジナル)

With the recent emergence of powerful instruction-tuned large language models (LLMs), various helpful conversational Artificial Intelligence (AI) systems have been deployed across many applications. When prompted by users, these AI systems successfully perform a wide range of tasks as part of a conversation. To provide some sort of memory and context, such approaches typically condition their output on the entire conversational history. Although this sensitivity to the conversational history can often lead to improved performance on subsequent tasks, we find that performance can in fact also be negatively impacted, if there is a task-switch. To the best of our knowledge, our work makes the first attempt to formalize the study of such vulnerabilities and interference of tasks in conversational LLMs caused by task-switches in the conversational history. Our experiments across 5 datasets with 15 task switches using popular LLMs reveal that many of the task-switches can lead to significant performance degradation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google