Revisiting Parallel Context Windows: A Frustratingly Simple Alternative and Chain-of-Thought Deterioration

要約

我々は、最近の並列統合手法であるパラレル コンテキスト ウィンドウ (PCW) の評価において 2 つの重大な制限があることを確認しました。PCW は、ウィンドウごとの注意と位置埋め込み技術を利用することで、言語モデルの最大コンテキスト長 (LLaMA の場合は 2048 など) を拡張します。
まず、コンテキスト内の少数ショット分類には、単純だが強力なベースラインである加重和アンサンブルが欠落していることを示します。
さらに、より困難な思考連鎖 (CoT) 推論 (HotpotQA など) では、PCW は質問の誤解や誤った推論に関して予期せぬ悪化を引き起こす可能性があります。
私たちの調査結果に基づいて、既存の PCW 設計では、実際のアプリケーションで長い文書を処理する際の十分な改善と実用性が保証されない可能性があることを示唆しています。
言語モデルの長い文脈理解能力を実現するためのコミュニティの取り組みをさらに強化する必要があります。

要約(オリジナル)

We identify two crucial limitations in the evaluation of recent parallel-integrated method Parallel Context Windows (PCW), which extends the maximum context lengths of language models, e.g., 2048 for LLaMA, by harnessing window-wise attention and positional embedding techniques. We first show that a simple yet strong baseline, weighted sum ensemble, is missing for the in-context few-shot classification. Moreover, on more challenging Chain-of-Thought (CoT) reasoning (e.g., HotpotQA), PCW would present unexpected deterioration regarding question miscomprehension and false inference. Based on our findings, we suggest that the existing PCW design may not guarantee sufficient improvement and practicality in handling lengthy documents in real-world applications. More community efforts on enabling language models’ long context understanding ability should be paid.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google