GPT-FinRE: In-context Learning for Financial Relation Extraction using Large Language Models

要約

関係抽出 (RE) は、テキスト内で言及されているエンティティ間の関係を識別して分類することを目的とした、自然言語処理 (NLP) における重要なタスクです。
金融ドメインでは、関係抽出は、ニュース記事、決算報告書、企業報告書などの財務文書から貴重な情報を抽出する際に重要な役割を果たします。
このペーパーでは、そのようなデータセット REFinD の 1 つに関する関係抽出のソリューションについて説明します。
このデータセットは、SIGIR 2023 と同時開催された、金融サービスにおける非構造化データからの知識発見に関する第 4 回ワークショップの一環として、共有タスクとともにリリースされました。この論文では、インコンテキスト学習 (ICL) のフレームワークの下で OpenAI モデルを採用しました。
2 つの検索戦略を利用して、特定のテスト例のトレーニング データから関連する上位 K 個のコンテキスト内学習デモンストレーション/例を見つけました。
私たちが採用した最初の検索メカニズムは学習不要のデンス リトリーバーであり、もう 1 つのシステムは学習ベースのリトリーバーです。
総合3位を獲得することができました。
最高の F1 スコアは 0.718 です。

要約(オリジナル)

Relation extraction (RE) is a crucial task in natural language processing (NLP) that aims to identify and classify relationships between entities mentioned in text. In the financial domain, relation extraction plays a vital role in extracting valuable information from financial documents, such as news articles, earnings reports, and company filings. This paper describes our solution to relation extraction on one such dataset REFinD. The dataset was released along with shared task as a part of the Fourth Workshop on Knowledge Discovery from Unstructured Data in Financial Services, co-located with SIGIR 2023. In this paper, we employed OpenAI models under the framework of in-context learning (ICL). We utilized two retrieval strategies to find top K relevant in-context learning demonstrations / examples from training data for a given test example. The first retrieval mechanism, we employed, is a learning-free dense retriever and the other system is a learning-based retriever. We were able to achieve 3rd rank overall. Our best F1-score is 0.718.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google