How to Unleash the Power of Large Language Models for Few-shot Relation Extraction?

要約

言語モデルのスケーリングは、広範な NLP タスクに革命をもたらしましたが、大規模な言語モデルを使用した少数ショット関係の抽出を包括的に検討することはほとんどありませんでした。
この論文では、徹底的な実験を通じて、GPT-3.5 による少数ショット関係抽出のための主要な方法論、コンテキスト内学習とデータ生成を調査します。
少数ショットのパフォーマンスを向上させるために、タスク関連の命令とスキーマに制約されたデータ生成をさらに提案します。
インコンテキスト学習は以前のプロンプト学習アプローチと同等のパフォーマンスを達成でき、大規模言語モデルを使用したデータ生成は以前のソリューションを強化して、広く研究されている 4 つの関係に関する新しい最先端の少数ショット結果を取得できることを観察しました。
抽出データセット。
私たちの研究が、少数ショットの関係抽出における大規模言語モデルの機能に関する将来の研究に刺激を与えることができれば幸いです。
コードは https://github.com/zjunlp/DeepKE/tree/main/example/llm で入手できます。

要約(オリジナル)

Scaling language models have revolutionized widespread NLP tasks, yet little comprehensively explored few-shot relation extraction with large language models. In this paper, we investigate principal methodologies, in-context learning and data generation, for few-shot relation extraction via GPT-3.5 through exhaustive experiments. To enhance few-shot performance, we further propose task-related instructions and schema-constrained data generation. We observe that in-context learning can achieve performance on par with previous prompt learning approaches, and data generation with the large language model can boost previous solutions to obtain new state-of-the-art few-shot results on four widely-studied relation extraction datasets. We hope our work can inspire future research for the capabilities of large language models in few-shot relation extraction. Code is available in https://github.com/zjunlp/DeepKE/tree/main/example/llm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google