A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

要約

現在の大規模言語モデル (LLM) は、コンテキストの最大長に制限があるだけでなく、長い入力を確実に消費することもできません。
これらの制限に対処するために、実験で有効なコンテキスト長を最大 20 倍にする LLM エージェント システムである ReadAgent を提案します。
人間が長い文書をインタラクティブに読む方法にヒントを得て、LLM の高度な言語機能を使用して (1) 記憶エピソードにまとめて保存するコンテンツを決定し、(2) それらの記憶エピソードを短いエピソードに圧縮するシンプルなプロンプト システムとして ReadAgent を実装します。
(3) ReadAgent がタスクを完了するために関連する詳細を思い出す必要がある場合は、元のテキストの一節を検索するアクションを実行します。
取得メソッド、元の長いコンテキスト、および要点メモリを使用して、ベースラインに対して ReadAgent を評価します。
これらの評価は、QuALITY、NarrativeQA、QMSum という 3 つの長い文書の読解タスクに対して実行されます。
ReadAgent は、有効なコンテキスト ウィンドウを 3 ～ 20 倍拡張しながら、3 つのタスクすべてでベースラインを上回ります。

要約(オリジナル)

Current Large Language Models (LLMs) are not only limited to some maximum context length, but also are not able to robustly consume long inputs. To address these limitations, we propose ReadAgent, an LLM agent system that increases effective context length up to 20x in our experiments. Inspired by how humans interactively read long documents, we implement ReadAgent as a simple prompting system that uses the advanced language capabilities of LLMs to (1) decide what content to store together in a memory episode, (2) compress those memory episodes into short episodic memories called gist memories, and (3) take actions to look up passages in the original text if ReadAgent needs to remind itself of relevant details to complete a task. We evaluate ReadAgent against baselines using retrieval methods, using the original long contexts, and using the gist memories. These evaluations are performed on three long-document reading comprehension tasks: QuALITY, NarrativeQA, and QMSum. ReadAgent outperforms the baselines on all three tasks while extending the effective context window by 3-20x.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google