QUAD-LLM-MLTC: Large Language Models Ensemble Learning for Healthcare Text Multi-Label Classification

要約

収集されるヘルスケアテキストデータの量が増加するにつれ、自動化されたマルチラベルテキスト分類（MLTC）に対するユニークな挑戦が提示される。従来の機械学習モデルでは、表現されたトピックの配列を完全に捉えることができないことが多い。しかしながら、大規模言語モデル（Large Language Models: LLM）は、様々なドメインにおける多数の自然言語処理（Natural Language Processing: NLP）タスクにおいて顕著な有効性を示しており、プロンプトエンジニアリングによる教師なし学習に適した、優れた計算効率を示している。その結果、これらのLLMは医療ナラティブの効果的なMLTCを約束する。しかし、様々なラベルを扱う場合、トピックによって異なるプロンプトが関連する可能性がある。このような課題に対処するため、提案するアプローチQUAD-LLM-MLTCは、4つのLLMの長所を活用する：GPT-4o、BERT、PEGASUS、BARTである。QUAD-LLM-MLTCは、BERTがキートークンを抽出し、PEGASUSがテキストデータを補強し、GPT-4oが分類し、BARTがトピックの割り当て確率を提供する逐次パイプラインで動作する。これらの出力はアンサンブル学習により結合され、メタ分類器を通して処理され、最終的なMLTC結果を生成する。本アプローチは、3つの注釈付きテキストのサンプルを用いて評価され、従来の手法や単一モデルの手法と対比される。その結果、分類のF1スコアと一貫性において、大半のトピックで有意な改善が見られた（F1とMicro-F1のスコアはそれぞれ78.17%と80.16%、標準偏差はそれぞれ0.025と0.011）。本研究は、LLMを用いたMLTCを進歩させ、さらなる訓練なしに医療関連のテキストデータを迅速に分類するための効率的でスケーラブルなソリューションを提供する。

要約(オリジナル)

The escalating volume of collected healthcare textual data presents a unique challenge for automated Multi-Label Text Classification (MLTC), which is primarily due to the scarcity of annotated texts for training and their nuanced nature. Traditional machine learning models often fail to fully capture the array of expressed topics. However, Large Language Models (LLMs) have demonstrated remarkable effectiveness across numerous Natural Language Processing (NLP) tasks in various domains, which show impressive computational efficiency and suitability for unsupervised learning through prompt engineering. Consequently, these LLMs promise an effective MLTC of medical narratives. However, when dealing with various labels, different prompts can be relevant depending on the topic. To address these challenges, the proposed approach, QUAD-LLM-MLTC, leverages the strengths of four LLMs: GPT-4o, BERT, PEGASUS, and BART. QUAD-LLM-MLTC operates in a sequential pipeline in which BERT extracts key tokens, PEGASUS augments textual data, GPT-4o classifies, and BART provides topics’ assignment probabilities, which results in four classifications, all in a 0-shot setting. The outputs are then combined using ensemble learning and processed through a meta-classifier to produce the final MLTC result. The approach is evaluated using three samples of annotated texts, which contrast it with traditional and single-model methods. The results show significant improvements across the majority of the topics in the classification’s F1 score and consistency (F1 and Micro-F1 scores of 78.17% and 80.16% with standard deviations of 0.025 and 0.011, respectively). This research advances MLTC using LLMs and provides an efficient and scalable solution to rapidly categorize healthcare-related text data without further training.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL