Using Large Language Models to Generate Authentic Multi-agent Knowledge Work Datasets

要約

現在公開されているナレッジ ワーク データ コレクションには、多様性、広範な注釈、およびユーザーとそのドキュメントに関するコンテキスト情報が不足しています。
これらの問題は、ナレッジ ワーク支援システムの客観的かつ比較可能なデータ駆動型の評価と最適化を妨げています。
現実の環境でこのようなデータを収集するには多大なリソースが必要であり、データ検閲が必要であるため、そのようなデータセットを収集することはほぼ不可能であると思われます。
このため、構成可能なマルチエージェント ナレッジ ワーク データセット ジェネレーターを提案します。
このシステムは、大規模言語モデルで生成されたドキュメントと付随するデータ トレースを作成するエージェント間の共同的な知識作業をシミュレートします。
さらに、ジェネレーターは、構成で指定された、またはシミュレーション プロセス中に作成されたすべての背景情報をナレッジ グラフにキャプチャします。
最後に、結果として得られるデータセットは、プライバシーや機密性を懸念することなく利用および共有できます。
この文書では、私たちのアプローチの設計とビジョンを紹介し、大規模言語モデルを使用した本物のナレッジ ワーク ドキュメントの生成に焦点を当てます。
人間の評価者が参加した私たちの調査では、生成された文書の 53% と実際の文書の 74% が現実的であると評価されており、私たちのアプローチの可能性を示しています。
さらに、参加者のコメントで言及された信頼性基準を分析し、特定された共通の問題に対する潜在的な改善点について詳しく説明します。

要約(オリジナル)

Current publicly available knowledge work data collections lack diversity, extensive annotations, and contextual information about the users and their documents. These issues hinder objective and comparable data-driven evaluations and optimizations of knowledge work assistance systems. Due to the considerable resources needed to collect such data in real-life settings and the necessity of data censorship, collecting such a dataset appears nearly impossible. For this reason, we propose a configurable, multi-agent knowledge work dataset generator. This system simulates collaborative knowledge work among agents producing Large Language Model-generated documents and accompanying data traces. Additionally, the generator captures all background information, given in its configuration or created during the simulation process, in a knowledge graph. Finally, the resulting dataset can be utilized and shared without privacy or confidentiality concerns. This paper introduces our approach’s design and vision and focuses on generating authentic knowledge work documents using Large Language Models. Our study involving human raters who assessed 53% of the generated and 74% of the real documents as realistic demonstrates the potential of our approach. Furthermore, we analyze the authenticity criteria mentioned in the participants’ comments and elaborate on potential improvements for identified common issues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google