Xinyu: An Efficient LLM-based System for Commentary Generation

要約

解説では、さまざまな議論や証拠を提示することで、読者に出来事についての深い理解を提供します。
ただし、解説の作成は、熟練した解説者であっても時間のかかる作業です。
大規模言語モデル (LLM) により、自然言語生成のプロセスが簡素化されましたが、コメント作成への直接適用には、固有のタスク要件による課題が依然として残っています。
これらの要件は 2 つのレベルに分類できます。1) 基本的な要件。これには、よく構造化され、論理的に一貫した物語を作成することが含まれます。2) 高度な要件には、質の高い議論を生成し、説得力のある証拠を提供することが含まれます。
このペーパーでは、解説者が中国語の解説を作成するのを支援するために設計された効率的な LLM ベースのシステムである Xinyu を紹介します。
基本的な要件を満たすために、生成プロセスを一連のステップに分解し、各ステップのターゲットを絞った戦略と教師あり微調整 (SFT) を提案します。
高度な要件に対処するために、議論の議論ランキング モデルを提示し、最新の出来事や古典的な書籍を含む包括的な証拠データベースを確立します。これにより、検索拡張生成 (RAG) テクノロジーによる証拠の実証が強化されます。
2 レベルの要件に対応して、生成されたコメンタリーをより公平に評価するために、コメンタリー生成における 5 つの異なる視点を考慮した包括的な評価指標を導入します。
私たちの実験により、提案したシステムの有効性が確認されました。
また、現実世界のシナリオではコメンテーターの効率が大幅に向上し、コメンタリーの作成に費やされる平均時間が 4 時間から 20 分に短縮されたことも観察されています。
重要なのは、このような効率の向上によって解説の品質が損なわれるわけではないということです。

要約(オリジナル)

Commentary provides readers with a deep understanding of events by presenting diverse arguments and evidence. However, creating commentary is a time-consuming task, even for skilled commentators. Large language models (LLMs) have simplified the process of natural language generation, but their direct application in commentary creation still faces challenges due to unique task requirements. These requirements can be categorized into two levels: 1) fundamental requirements, which include creating well-structured and logically consistent narratives, and 2) advanced requirements, which involve generating quality arguments and providing convincing evidence. In this paper, we introduce Xinyu, an efficient LLM-based system designed to assist commentators in generating Chinese commentaries. To meet the fundamental requirements, we deconstruct the generation process into sequential steps, proposing targeted strategies and supervised fine-tuning (SFT) for each step. To address the advanced requirements, we present an argument ranking model for arguments and establish a comprehensive evidence database that includes up-to-date events and classic books, thereby strengthening the substantiation of the evidence with retrieval augmented generation (RAG) technology. To evaluate the generated commentaries more fairly, corresponding to the two-level requirements, we introduce a comprehensive evaluation metric that considers five distinct perspectives in commentary generation. Our experiments confirm the effectiveness of our proposed system. We also observe a significant increase in the efficiency of commentators in real-world scenarios, with the average time spent on creating a commentary dropping from 4 hours to 20 minutes. Importantly, such an increase in efficiency does not compromise the quality of the commentaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google