How to Unleash the Power of Large Language Models for Few-shot Relation Extraction?

要約

タイトル：Few-shot関係抽出のために大規模言語モデルの力をどのように引き出すか？

要約：
– 適用範囲が広がっている自然言語処理のタスクで、大規模言語モデルの出現によって何が変わるのかを探求している論文
– 今回はGPT-3.5を用いて、短期間学習(few-shot learning)での関係抽出に絞って調査を行った。
– 実験の結果、文脈学習とデータ生成に着目し、タスクに関する指示が必要であり、データからスキーマを生成することで、より高い精度が得られるという結果が得られた。
– 提案手法により、従来研究よりも高い水準で精度を出せることがわかり、大規模言語モデルを少数データからの関係抽出タスクに利用する可能性を示した。
– コードはhttps://github.com/zjunlp/DeepKE/tree/main/example/llmで公開されている。

要点：
– 短期間学習での関係抽出に大規模言語モデル(GPT-3.5)を使用することで、関係抽出精度向上が期待される。
– 文脈学習とデータ生成が精度向上につながることを明らかにした。
– さらなる精度向上のため、関係抽出タスクに関する指示とデータスキーマを生成することが必要。
– 提案手法により、従来研究よりも高い水準で精度を出せることを実証。
– コードは公開されている。

要約(オリジナル)

Scaling language models have revolutionized widespread NLP tasks, yet little comprehensively explored few-shot relation extraction with large language models. In this paper, we investigate principal methodologies, in-context learning and data generation, for few-shot relation extraction via GPT-3.5 through exhaustive experiments. To enhance few-shot performance, we further propose task-related instructions and schema-constrained data generation. We observe that in-context learning can achieve performance on par with previous prompt learning approaches, and data generation with the large language model can boost previous solutions to obtain new state-of-the-art few-shot results on four widely-studied relation extraction datasets. We hope our work can inspire future research for the capabilities of large language models in few-shot relation extraction. Code is available in https://github.com/zjunlp/DeepKE/tree/main/example/llm.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI