Enhancing Multi-Class Disease Classification: Neoplasms, Cardiovascular, Nervous System, and Digestive Disorders Using Advanced LLMs

要約

この研究では、5 つの病状にまたがる Medical-Abstracts-TC-Corpus に対する事前トレーニング済み言語モデルを介したマルチクラス疾患分類の点での改善を調査しました。
がん以外の疾患を除外し、4 つの特定の疾患を調べました。
BioBERT、XLNet、BERT の 4 つの LLM と、新しい基本モデル (Last-BERT) を評価しました。
医療データで事前トレーニングされた BioBERT は、医療テキストの分類において優れたパフォーマンス (97% の精度) を実証しました。
驚くべきことに、XLNet は、医療データで事前トレーニングされていないにもかかわらず、厳密に追随し (96% の精度)、ドメイン間での汎用性を実証しました。
BERT の軽量バージョンに基づくカスタム モデルである LastBERT も、87.10% の精度 (BERT の 89.33% をわずかに下回る) で競争力があることが証明されました。
私たちの調査結果は、BioBERT などの特殊なモデルの重要性を裏付けるものであり、医療分野のタスクにおける XLNet や、より少ないパラメーター (この場合は LastBERT) でよく調整されたトランスフォーマー アーキテクチャなどのより一般的なソリューションに関する印象も裏付けています。

要約(オリジナル)

In this research, we explored the improvement in terms of multi-class disease classification via pre-trained language models over Medical-Abstracts-TC-Corpus that spans five medical conditions. We excluded non-cancer conditions and examined four specific diseases. We assessed four LLMs, BioBERT, XLNet, and BERT, as well as a novel base model (Last-BERT). BioBERT, which was pre-trained on medical data, demonstrated superior performance in medical text classification (97% accuracy). Surprisingly, XLNet followed closely (96% accuracy), demonstrating its generalizability across domains even though it was not pre-trained on medical data. LastBERT, a custom model based on the lighter version of BERT, also proved competitive with 87.10% accuracy (just under BERT’s 89.33%). Our findings confirm the importance of specialized models such as BioBERT and also support impressions around more general solutions like XLNet and well-tuned transformer architectures with fewer parameters (in this case, LastBERT) in medical domain tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google