CollabKG: A Learnable Human-Machine-Cooperative Information Extraction Toolkit for (Event) Knowledge Graph Construction

要約

エンティティ中心およびイベント中心のナレッジ グラフ (KG および EKG) を構築または拡張するには、情報抽出 (IE) 注釈ツールキットが不可欠です。
ただし、既存の IE ツールキットには、マルチタスクをサポートしていない、自動更新をサポートしていないなど、いくつかの重要な問題があります。
この研究では、KG および EKG 構築のための学習可能な人間と機械が協力する IE ツールキットである CollabKG を紹介します。
具体的には、マルチタスクの問題に関して、CollabKG は、固有表現認識 (NER)、実体関係三重抽出 (RE)、イベント抽出 (EE) などのさまざまな IE サブタスクを統合し、KG と EKG の両方をサポートします。
次に、高度なプロンプトベースの IE テクノロジを組み合わせて、アシスタント マシンとして LLM を使用するマン マシン協力メカニズムが提示され、これにより、より低コストでより高いパフォーマンスを実現できます。
最後に、人間と機械の間の双方向のインタラクションにより、学習能力を備えた CollabKG は自己更新を可能にします。
さらに、CollabKG には、システムを強力で使いやすく、生産性を高めるいくつかの魅力的な機能 (カスタマイズ、トレーニング不要、伝播など) があります。
これらの機能に関して、ツールキットを他の既存のツールと総合的に比較します。
人間による評価は、CollabKG がアノテーションの品質、効率、安定性を同時に大幅に向上させることを定量的に示しています。

要約(オリジナル)

In order to construct or extend entity-centric and event-centric knowledge graphs (KG and EKG), the information extraction (IE) annotation toolkit is essential. However, existing IE toolkits have several non-trivial problems, such as not supporting multi-tasks, not supporting automatic updates. In this work, we present CollabKG, a learnable human-machine-cooperative IE toolkit for KG and EKG construction. Specifically, for the multi-task issue, CollabKG unifies different IE subtasks, including named entity recognition (NER), entity-relation triple extraction (RE), and event extraction (EE), and supports both KG and EKG. Then, combining advanced prompting-based IE technology, the human-machine-cooperation mechanism with LLMs as the assistant machine is presented which can provide a lower cost as well as a higher performance. Lastly, owing to the two-way interaction between the human and machine, CollabKG with learning ability allows self-renewal. Besides, CollabKG has several appealing features (e.g., customization, training-free, propagation, etc.) that make the system powerful, easy-to-use, and high-productivity. We holistically compare our toolkit with other existing tools on these features. Human evaluation quantitatively illustrates that CollabKG significantly improves annotation quality, efficiency, and stability simultaneously.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google