Enhancing Annotated Bibliography Generation with LLM Ensembles

要約

この研究は、大規模言語モデル (LLM) アンサンブルを通じて注釈付き参考文献の生成を強化する新しいアプローチを提案しています。
特に、制御可能なテキストの生成、評価、要約など、異なる役割を持つ複数の LLM が体系的な方法論を使用して導入および検証され、学術タスクにおけるモデルのパフォーマンスが向上します。
テキストを生成するアンサンブル間の出力の多様性は、さまざまな LLM パラメーターを使用して取得され、その後、LLM が判断者として機能し、関連性、正確さ、一貫性を評価します。
いくつかの結合戦略によって選択された応答は、要約および冗長性除去技術によってマージされ、洗練されます。
予備的な実験検証では、LLM アンサンブルからの出力を組み合わせた場合、個別の応答と比較して一貫性と関連性が向上し、注釈の品質が 38% 向上し、コンテンツの冗長性が 51% 削減されることが実証されており、複雑な学術タスクを自動化できる可能性が強調されています。
高品質基準を維持します。

要約(オリジナル)

This work proposes a novel approach to enhancing annotated bibliography generation through Large Language Model (LLM) ensembles. In particular, multiple LLMs in different roles — controllable text generation, evaluation, and summarization — are introduced and validated using a systematic methodology to enhance model performance in scholarly tasks. Output diversity among the ensemble that generates text is obtained using different LLM parameters, followed by an LLM acting as a judge to assess relevance, accuracy, and coherence. Responses selected by several combining strategies are then merged and refined through summarization and redundancy removal techniques. The preliminary experimental validation demonstrates that the combined outputs from the LLM ensemble improve coherence and relevance compared to individual responses, leading to a 38% improvement in annotation quality and a 51% reduction in content redundancy, thus highlighting the potential for automating complex scholarly tasks while maintaining high-quality standards.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google