STAR: Improving Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models

要約

イベント抽出などの情報抽出タスクでは、出力構造とサブタスクの依存関係を深く理解する必要があります。
妥当なパフォーマンスを得るために、(通路、ターゲット構造) ペアの形式でタスク固有のトレーニング データに大きく依存します。
しかし、人間によるアノテーションによるこのようなデータの取得にはコストがかかるため、現実世界のアプリケーションでは人間によるラベル付けを最小限に抑えた、低リソースの情報抽出アプローチが急務となっています。
合成されたトレーニング データを使用して教師ありモデルを微調整することは一般化可能な方法ですが、既存のデータ生成方法は依然として大規模なグラウンドトゥルース データに依存しているか、パフォーマンスが低いために複雑な IE タスクに適用できません。
これらの課題に対処するために、私たちは、大規模言語モデル (LLM) を利用して限られたシード デモンストレーションでデータ インスタンスを合成し、それによって低リソースの情報抽出パフォーマンスを向上させるデータ生成方法である STAR を提案します。
私たちのアプローチには、ターゲット構造 (Y) を生成し、続いてパッセージ (X) を生成することが含まれます。これらはすべて LLM の助けを借りて実現されます。
初期データ インスタンスを取得するための詳細な段階的な手順を設計します。
自己反省によるエラーの特定と反復修正による自己改善により、エラーをさらに削減し、データ品質を向上させます。
私たちの実験によれば、STAR によって生成されたデータは、低リソースのイベント抽出タスクと関係抽出タスクのパフォーマンスを大幅に向上させ、人間が厳選したデータの有効性をも上回っています。
データ品質を人間が評価したところ、STAR が生成したデータは、人間が厳選したデータと比較して、より高い通過品質を示し、タスク定義とよりよく一致していることがわかりました。

要約(オリジナル)

Information extraction tasks such as event extraction require an in-depth understanding of the output structure and sub-task dependencies. They heavily rely on task-specific training data in the form of (passage, target structure) pairs to obtain reasonable performance. However, obtaining such data through human annotation is costly, leading to a pressing need for low-resource information extraction approaches that require minimal human labeling for real-world applications. Fine-tuning supervised models with synthesized training data would be a generalizable method, but the existing data generation methods either still rely on large-scale ground-truth data or cannot be applied to complicated IE tasks due to their poor performance. To address these challenges, we propose STAR, a data generation method that leverages Large Language Models (LLMs) to synthesize data instances given limited seed demonstrations, thereby boosting low-resource information extraction performance. Our approach involves generating target structures (Y) followed by generating passages (X), all accomplished with the aid of LLMs. We design fine-grained step-by-step instructions to obtain the initial data instances. We further reduce errors and improve data quality through self-reflection error identification and self-refinement with iterative revision. Our experiments show that the data generated by STAR significantly improves the performance of low-resource event extraction and relation extraction tasks, even surpassing the effectiveness of human-curated data. Human assessment of the data quality shows STAR-generated data exhibits higher passage quality and better align with the task definitions compared with the human-curated data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google