Relation Extraction Using Large Language Models: A Case Study on Acupuncture Point Locations

要約

鍼治療では、ツボの正確な位置が効果を発揮するために不可欠です。
生成事前学習トランスフォーマー (GPT) のような大規模言語モデル (LLM) の高度な言語理解機能は、テキストの知識ソースから経穴の位置に関連する関係を抽出する重要な機会を提供します。
この研究は、経穴関連の位置関係を抽出する際に、GPT のパフォーマンスを従来の深層学習モデル (長短期記憶 (LSTM) および生物医学テキスト マイニング用トランスフォーマーからの双方向エンコーダー表現 (BioBERT)) と比較し、事前トレーニングの影響を評価することを目的としています。
GPT のパフォーマンスを微調整します。
私たちは、世界保健機関の西太平洋地域における標準経穴位置 (WHO 標準) をコーパスとして利用しました。このコーパスは 361 個の経穴の説明で構成されています。
経穴間の 5 種類の関係 (‘direction_of’、’ distance_of’、’part_of’、’near_acupoint’、および ‘located_near’) (n= 3,174) に注釈が付けられました。
BioBERT、LSTM、事前トレーニングされた GPT-3.5、微調整された GPT-3.5、および事前トレーニングされた GPT-4 の 5 つのモデルが比較されました。
パフォーマンス指標には、マイクロ平均完全一致精度、再現率、および F1 スコアが含まれます。
私たちの結果は、微調整された GPT-3.5 が、すべての関係タイプにわたって F1 スコアにおいて他のモデルを一貫して上回っていることを示しています。
全体として、最高のマイクロ平均 F1 スコア 0.92 を達成しました。
この研究は、経穴の位置に関連する関係を抽出する際の GPT のような LLM の有効性を強調しており、鍼治療の知識を正確にモデル化し、鍼治療のトレーニングと実践における標準的な実装を促進することに影響を及ぼします。
この発見はまた、伝統医学および補完医療における情報学応用の進歩にも貢献し、自然言語処理における LLM の可能性を示しています。

要約(オリジナル)

In acupuncture therapy, the accurate location of acupoints is essential for its effectiveness. The advanced language understanding capabilities of large language models (LLMs) like Generative Pre-trained Transformers (GPT) present a significant opportunity for extracting relations related to acupoint locations from textual knowledge sources. This study aims to compare the performance of GPT with traditional deep learning models (Long Short-Term Memory (LSTM) and Bidirectional Encoder Representations from Transformers for Biomedical Text Mining (BioBERT)) in extracting acupoint-related location relations and assess the impact of pretraining and fine-tuning on GPT’s performance. We utilized the World Health Organization Standard Acupuncture Point Locations in the Western Pacific Region (WHO Standard) as our corpus, which consists of descriptions of 361 acupoints. Five types of relations (‘direction_of,’ ‘distance_of,’ ‘part_of,’ ‘near_acupoint,’ and ‘located_near’) (n= 3,174) between acupoints were annotated. Five models were compared: BioBERT, LSTM, pre-trained GPT-3.5, fine-tuned GPT-3.5, as well as pre-trained GPT-4. Performance metrics included micro-average exact match precision, recall, and F1 scores. Our results demonstrate that fine-tuned GPT-3.5 consistently outperformed other models in F1 scores across all relation types. Overall, it achieved the highest micro-average F1 score of 0.92. This study underscores the effectiveness of LLMs like GPT in extracting relations related to acupoint locations, with implications for accurately modeling acupuncture knowledge and promoting standard implementation in acupuncture training and practice. The findings also contribute to advancing informatics applications in traditional and complementary medicine, showcasing the potential of LLMs in natural language processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google