LLM-Ref: Enhancing Reference Handling in Technical Writing with Large Language Models

要約

大規模言語モデル (LLM) はデータ合成には優れていますが、ドメイン固有のタスクでは不正確になる可能性があり、検索拡張生成 (RAG) システムはユーザー提供のデータを活用することでこれに対処します。
ただし、RAG は取得段階と生成段階の両方で最適化が必要であり、出力品質に影響を与える可能性があります。
この論文では、強化された参照合成および処理機能により、研究者が複数のソース文書から論文を執筆するのを支援する執筆アシスタント ツールである LLM-Ref を紹介します。
チャンク化とインデックス作成を使用する従来の RAG システムとは異なり、私たちのツールはテキスト段落から直接コンテンツを取得して生成します。
この方法により、生成された出力からの直接の参照抽出が容易になります。これは、当社のツールに固有の機能です。
さらに、私たちのツールは反復的な応答生成を採用しており、言語モデルの制約内で長いコンテキストを効果的に管理します。
ベースラインの RAG ベースのシステムと比較して、当社のアプローチは、正確で関連性があり、状況に応じて適切な応答を生成する RAG システムの能力の全体像を提供する包括的な指標である Ragas スコアで $3.25\times$ から $6.26\times$ の増加を達成しました。
この改善は、私たちの方法が執筆支援ツールの精度と文脈の関連性を強化していることを示しています。

要約(オリジナル)

Large Language Models (LLMs) excel in data synthesis but can be inaccurate in domain-specific tasks, which retrieval-augmented generation (RAG) systems address by leveraging user-provided data. However, RAGs require optimization in both retrieval and generation stages, which can affect output quality. In this paper, we present LLM-Ref, a writing assistant tool that aids researchers in writing articles from multiple source documents with enhanced reference synthesis and handling capabilities. Unlike traditional RAG systems that use chunking and indexing, our tool retrieves and generates content directly from text paragraphs. This method facilitates direct reference extraction from the generated outputs, a feature unique to our tool. Additionally, our tool employs iterative response generation, effectively managing lengthy contexts within the language model’s constraints. Compared to baseline RAG-based systems, our approach achieves a $3.25\times$ to $6.26\times$ increase in Ragas score, a comprehensive metric that provides a holistic view of a RAG system’s ability to produce accurate, relevant, and contextually appropriate responses. This improvement shows our method enhances the accuracy and contextual relevance of writing assistance tools.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google