Local Large Language Models for Complex Structured Medical Tasks

要約

本稿では、大規模言語モデル（LLM）の言語推論能力と、複雑なドメイン固有のタスクに取り組むためのローカルトレーニングの利点を組み合わせたアプローチを紹介する。具体的には、病理レポートから構造化された病態コードを抽出することで、そのアプローチを実証する。提案されたアプローチは、特定の生成命令に応答し、構造化された出力を提供するように微調整可能なローカルLLMを利用する。著者らは、肉眼的説明、最終診断、および病態コードを含む、150kを超える未修正の外科病理報告書のデータセットを収集した。LLaMA、BERT、LongFormerを含む異なるモデル・アーキテクチャを訓練し、その性能を評価した。その結果、LLaMAベースのモデルは、精度が極端に低下した場合でも、すべての評価指標においてBERTスタイルのモデルを大幅に上回ることが示された。LLaMAモデルは大規模データセットで特に優れた性能を示し、複雑なマルチラベルタスクを処理する能力を実証した。全体として、本研究は、アクセス可能なハードウェアを使用してドメイン固有のタスクを実行するためにLLMを利用する効果的なアプローチを提示しており、複雑なデータ抽出と分類が要求される医療領域での応用の可能性がある。

要約(オリジナル)

This paper introduces an approach that combines the language reasoning capabilities of large language models (LLMs) with the benefits of local training to tackle complex, domain-specific tasks. Specifically, the authors demonstrate their approach by extracting structured condition codes from pathology reports. The proposed approach utilizes local LLMs, which can be fine-tuned to respond to specific generative instructions and provide structured outputs. The authors collected a dataset of over 150k uncurated surgical pathology reports, containing gross descriptions, final diagnoses, and condition codes. They trained different model architectures, including LLaMA, BERT and LongFormer and evaluated their performance. The results show that the LLaMA-based models significantly outperform BERT-style models across all evaluated metrics, even with extremely reduced precision. The LLaMA models performed especially well with large datasets, demonstrating their ability to handle complex, multi-label tasks. Overall, this work presents an effective approach for utilizing LLMs to perform domain-specific tasks using accessible hardware, with potential applications in the medical domain, where complex data extraction and classification are required.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL