Long-context Language Models Are Not Good At ALL Retrieval Tasks Without Sufficient Steps

要約

広範なコンテキストウィンドウを特徴とする長い文字モデル（LCLMS）が人気を博しています。
ただし、標準の長いコンテキスト検索タスクでほぼ完璧であるにもかかわらず、私たちの評価は、LCLMSの能力境界を超えている2つの基本的なケース「マルチマッチング検索」および「ロジックベースの検索」では得意ではないことを示しています。
しかし、特定のCOTプロンプトに導かれた十分な数の推論ステップで適切に対処できることがわかります。これは、より高度な長いコンテキスト処理のために長いコンテキストタスクとCOTメソッドを組み合わせる必要性を示しています。
ただし、コンテキストが非常に長い場合、現在のCOTメソッドは時間がかかりすぎます。これは、効率的な長いコンテキスト処理にはまだ長い道のりがあります。

要約(オリジナル)

Long-context language models (LCLMs), characterized by their extensive context window, are becoming popular. However, despite they are nearly perfect at standard long-context retrieval tasks, our evaluations demonstrate they are not good at 2 basic cases, ‘multi-matching retrieval,’ and ‘logic-based retrieval’, which are beyond LCLMs’ ability boundary. But we find they can be well addressed with a sufficient number of reasoning steps, guided by specific CoT prompts, indicating the necessity of combining long-context tasks with CoT methods for more advanced long context handling. However, current CoT methods are too time-consuming, when the context is very long, which means efficient long-context handling still has a long way to go.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google