‘Paraphrasing The Original Text’ Makes High Accuracy Long-Context QA

要約

ほとんどのオープンソース LLM のコンテキスト ウィンドウは依然として 4k 未満であり、長いコンテキストの問題を処理する能力が制限されています。
一方、コンテキスト ウィンドウが長いものであっても、依然として満足のいく精度が得られません。
この問題に対処するために、私たちはトレーニング データの観点から調査し、長いコンテキストを処理する能力のトレーニングには「長い」データではなく「効果的な」データが必要であることを理論的に証明します。
これに基づいて、我々は「原文言い換え」タスクの使用を提案し、低コストかつ効果的な方法で既存モデルのコンテキストウィンドウを32kまで拡張することに成功し、複数の文書QAにおけるSOTA精度を各モデル間で達成する。
同じスケール。
モデルとトレーニング データは、HuggingFace(https://huggingface.co/yuyijiong/Qwen-14b-chat-yarn-32k) および WiseModel(https://wisemodel.cn/models/yuyijiong/Qwen-) でオープンソース化されています。
14b-chat-yarn-32k)。

要約(オリジナル)

Most open-source LLMs still have a context window of no more than 4k, limiting their ability to handle long-context problems. Meanwhile, even those with a long context window still lack satisfactory accuracy. To address this issue, we explore from the perspective of training data and theoretically prove training the capability to handle long contexts requires ‘effective’ rather than ‘long’ data. Based on this, we propose using the ‘original text paraphrase’ task, and successfully extend the context window of the existing model to 32k by a low-cost and effective method, achieving the SOTA accuracy in multi-document-QA among models of the same scale. The model and training data have been open-sourced on HuggingFace(https://huggingface.co/yuyijiong/Qwen-14b-chat-yarn-32k) and WiseModel(https://wisemodel.cn/models/yuyijiong/Qwen-14b-chat-yarn-32k).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google