OkraLong: A Flexible Retrieval-Augmented Framework for Long-Text Query Processing

要約

大規模な言語モデル（LLMS）は、エンタープライズドキュメント分析や財務報告の理解などのアプリケーションで見られるように、長いテキストクエリを効率的に処理する際に課題に遭遇します。
従来のソリューションでは、長いコンテキストの処理または検索の高等発電（RAG）を採用していますが、禁止されている入力費用または不完全な情報に苦しんでいます。
最近の進歩は、コンテキストの圧縮と動的検索ループを採用していますが、それでも重要な詳細を犠牲にしたり、反復コストを犠牲にしたりします。これらの制限に対処するために、処理ワークフロー全体を柔軟に最適化する新しいフレームワークであるOkralongを提案します。
以前の静的または粗粒の適応戦略とは異なり、Okralongは、アナライザー、オーガナイザー、執行者の3つの相乗効果コンポーネントを通じて微細に粒のオーケストレーションを採用しています。
アナライザーは、ワークフローを動的にスケジュールする際にオーガナイザーを導くタスク状態を特徴付けます。
執行者は実行を実行し、最終的な答えを生成します。
実験結果は、Okralongが回答の精度を高めるだけでなく、さまざまなデータセット全体で費用対効果を達成することを示しています。

要約(オリジナル)

Large Language Models (LLMs) encounter challenges in efficiently processing long-text queries, as seen in applications like enterprise document analysis and financial report comprehension. While conventional solutions employ long-context processing or Retrieval-Augmented Generation (RAG), they suffer from prohibitive input expenses or incomplete information. Recent advancements adopt context compression and dynamic retrieval loops, but still sacrifice critical details or incur iterative costs.To address these limitations, we propose OkraLong, a novel framework that flexibly optimizes the entire processing workflow. Unlike prior static or coarse-grained adaptive strategies, OkraLong adopts fine-grained orchestration through three synergistic components: analyzer, organizer and executor. The analyzer characterizes the task states, which guide the organizer in dynamically scheduling the workflow. The executor carries out the execution and generates the final answer. Experimental results demonstrate that OkraLong not only enhances answer accuracy but also achieves cost-effectiveness across a variety of datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google