PneumoLLM: Harnessing the Power of Large Language Model for Pneumoconiosis Diagnosis

要約

従来の事前トレーニングと微調整のパラダイムは、豊富なデータがある一般的な病気には効果的ですが、じん肺のようなデータが不足している職業病の診断では課題に直面しています。
最近、大規模言語モデル (LLM) は、対話で複数のタスクを実行するときに前例のない能力を発揮し、診断の機会をもたらします。
一般的な戦略には、対話形式で視覚と言語の調整と診断を行うためにアダプター層を使用することが含まれる場合があります。
しかし、このアプローチでは、多くの場合、テキスト ブランチとダイアログ ヘッドの広範な学習可能なパラメーターの最適化が必要となり、特にトレーニング データが限られている場合、LLM の有効性が低下する可能性があります。
私たちの仕事では、テキスト ブランチを削除し、ダイアログ ヘッドを分類ヘッドに置き換えることによって革新を加えています。
このアプローチは、学習可能なパラメーターが少ない診断で LLM を活用するためのより効果的な方法を提供します。
さらに、詳細な画像情報の保持と正確な診断への進行のバランスを取るために、コンテキスト マルチトークン エンジンを導入します。
このエンジンは、診断トークンを適応的に生成することに特化しています。
さらに、画像トークンから診断トークンまで一方向に情報を発信する情報発信モジュールを提案します。
包括的な実験により、私たちの方法の優位性と提案されたモジュールの有効性が検証されます。
私たちのコードは https://github.com/CodeMonsterPHD/PneumoLLM/tree/main で見つけることができます。

要約(オリジナル)

The conventional pretraining-and-finetuning paradigm, while effective for common diseases with ample data, faces challenges in diagnosing data-scarce occupational diseases like pneumoconiosis. Recently, large language models (LLMs) have exhibits unprecedented ability when conducting multiple tasks in dialogue, bringing opportunities to diagnosis. A common strategy might involve using adapter layers for vision-language alignment and diagnosis in a dialogic manner. Yet, this approach often requires optimization of extensive learnable parameters in the text branch and the dialogue head, potentially diminishing the LLMs’ efficacy, especially with limited training data. In our work, we innovate by eliminating the text branch and substituting the dialogue head with a classification head. This approach presents a more effective method for harnessing LLMs in diagnosis with fewer learnable parameters. Furthermore, to balance the retention of detailed image information with progression towards accurate diagnosis, we introduce the contextual multi-token engine. This engine is specialized in adaptively generating diagnostic tokens. Additionally, we propose the information emitter module, which unidirectionally emits information from image tokens to diagnosis tokens. Comprehensive experiments validate the superiority of our methods and the effectiveness of proposed modules. Our codes can be found at https://github.com/CodeMonsterPHD/PneumoLLM/tree/main.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google