GenerationPrograms: Fine-grained Attribution with Executable Programs

要約

最近の大規模な言語モデル（LLMS）は、ソースコンディショニングされたテキスト生成で印象的なパフォーマンスを実現しますが、多くの場合、出力に細粒の属性を正しく提供できず、検証可能性と信頼を損ないます。
さらに、既存の帰属方法では、モデルが提供されたソースドキュメントを活用して最終的な応答を生成し、解釈可能性を制限する方法と理由を説明していません。
これらの課題を克服するために、実行可能ファイルの「コードエージェント」アーキテクチャの最近の進歩に触発されたモジュラー生成フレームワーク、GenerationProgramsを紹介します。
出力と帰属を同時に生成したり、事後帰属に依存したりする従来の生成方法とは異なり、GenerationProgramsはプロセスを2つの異なる段階に分解します。1つ目は、モジュラーテキスト操作（言い換え、圧縮、融合など）で構成される実行可能なプログラム計画を作成します。
実証的評価は、2つの長期にわたる長期の質問回答タスクとマルチドキュメントの要約タスクにわたって、ドキュメントレベルと文レベルの両方で、世代プログラムが属性の品質を大幅に向上させることを示しています。
さらに、生成プログラムは事後帰属法として効果的に機能し、正確な属性を回復する際の従来の技術を上回ることができることを実証します。
さらに、GenerationProgramsによって生成された解釈可能なプログラムは、全体的な帰属品質をさらに高めるモジュラーレベルの改善を通じてローカライズされた改良を可能にします。

要約(オリジナル)

Recent large language models (LLMs) achieve impressive performance in source-conditioned text generation but often fail to correctly provide fine-grained attributions for their outputs, undermining verifiability and trust. Moreover, existing attribution methods do not explain how and why models leverage the provided source documents to generate their final responses, limiting interpretability. To overcome these challenges, we introduce a modular generation framework, GenerationPrograms, inspired by recent advancements in executable ‘code agent’ architectures. Unlike conventional generation methods that simultaneously generate outputs and attributions or rely on post-hoc attribution, GenerationPrograms decomposes the process into two distinct stages: first, creating an executable program plan composed of modular text operations (such as paraphrasing, compression, and fusion) explicitly tailored to the query, and second, executing these operations following the program’s specified instructions to produce the final response. Empirical evaluations demonstrate that GenerationPrograms significantly improves attribution quality at both the document level and sentence level across two long-form question-answering tasks and a multi-document summarization task. We further demonstrate that GenerationPrograms can effectively function as a post-hoc attribution method, outperforming traditional techniques in recovering accurate attributions. In addition, the interpretable programs generated by GenerationPrograms enable localized refinement through modular-level improvements that further enhance overall attribution quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google