GPT Struct Me: Probing GPT Models on Narrative Entity Extraction

要約

日々生成されるテキストの量が増え続けることを考えると、テキスト データから構造化情報を抽出できるシステムの重要性がますます顕著になっています。
このような情報を相互運用可能な方法で効果的に抽出できるシステムがあれば、金融、健康、法律など、いくつかの分野にとって資産となります。
自然言語処理の最近の発展により、人間の知能をある程度模倣できる強力な言語モデルが作成されました。
このような有効性は、構造化情報の抽出にこれらのモデルを利用できるか?という適切な疑問を引き起こします。
この研究では、物語のエンティティ、つまりイベントや参加者の抽出における 2 つの最先端の言語モデル — GPT-3 と GPT-3.5、一般に ChatGPT として知られる — の機能を評価することで、この問題に取り組みます。
、および時間的な表現。
この研究は、Text2Story Lusa データセットで行われます。このデータセットは、119 件のポルトガルのニュース記事のコレクションであり、その注釈フレームワークには、いくつかのタグと属性値とともに一連のエンティティ構造が含まれています。
まず、データセットのドキュメントのサブセットに関するさまざまな程度の情報を提供するプロンプト コンポーネントに対するアブレーション スタディを通じて、最適なプロンプト テンプレートを選択します。
その後、最適なテンプレートを使用して、残りのドキュメントに対するモデルの有効性を評価します。
得られた結果は、GPT モデルがすぐに使用できるベースライン システムと競合し、限られたリソースを持つ実務者にとってオールインワンの代替手段となることを示しています。
情報抽出のコンテキストでこれらのモデルの長所と限界を研究することで、将来の改善とこの分野での探究の道を導く洞察を提供します。

要約(オリジナル)

The importance of systems that can extract structured information from textual data becomes increasingly pronounced given the ever-increasing volume of text produced on a daily basis. Having a system that can effectively extract such information in an interoperable manner would be an asset for several domains, be it finance, health, or legal. Recent developments in natural language processing led to the production of powerful language models that can, to some degree, mimic human intelligence. Such effectiveness raises a pertinent question: Can these models be leveraged for the extraction of structured information? In this work, we address this question by evaluating the capabilities of two state-of-the-art language models — GPT-3 and GPT-3.5, commonly known as ChatGPT — in the extraction of narrative entities, namely events, participants, and temporal expressions. This study is conducted on the Text2Story Lusa dataset, a collection of 119 Portuguese news articles whose annotation framework includes a set of entity structures along with several tags and attribute values. We first select the best prompt template through an ablation study over prompt components that provide varying degrees of information on a subset of documents of the dataset. Subsequently, we use the best templates to evaluate the effectiveness of the models on the remaining documents. The results obtained indicate that GPT models are competitive with out-of-the-box baseline systems, presenting an all-in-one alternative for practitioners with limited resources. By studying the strengths and limitations of these models in the context of information extraction, we offer insights that can guide future improvements and avenues to explore in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google