Critique of Impure Reason: Unveiling the reasoning behaviour of medical Large Language Models

要約

背景: 現在、医療分野全体で大規模言語モデル (LLM) が普及しているにもかかわらず、その推論動作に対処する研究は驚くほど不足しています。
この文脈では説明可能な AI (XAI) に相当するため、高レベルの予測精度ではなく推論動作を理解することの重要性を強調します。
特に、臨床領域で使用される医療 LLM で XAI を実現することは、ヘルスケア分野全体に大きな影響を与えるでしょう。
結果: したがって、医療 LLM の特定のコンテキストで推論動作の概念を定義します。
次に、医療 LLM における推論動作を評価する方法の現在の状態を分類して説明します。
最後に、医療専門家や機械学習エンジニアが、これまで曖昧だったモデルの低レベルの推論操作について洞察を得ることができる理論的フレームワークを提案します。
結論: その後、患者だけでなく臨床医による医療機械学習モデルに対する透明性と信頼性が高まることで、医療システム全体における医療 AI の統合、適用、さらなる開発が加速されるでしょう。

要約(オリジナル)

Background: Despite the current ubiquity of Large Language Models (LLMs) across the medical domain, there is a surprising lack of studies which address their reasoning behaviour. We emphasise the importance of understanding reasoning behaviour as opposed to high-level prediction accuracies, since it is equivalent to explainable AI (XAI) in this context. In particular, achieving XAI in medical LLMs used in the clinical domain will have a significant impact across the healthcare sector. Results: Therefore, we define the concept of reasoning behaviour in the specific context of medical LLMs. We then categorise and discuss the current state of the art of methods which evaluate reasoning behaviour in medical LLMs. Finally, we propose theoretical frameworks which can empower medical professionals or machine learning engineers to gain insight into the low-level reasoning operations of these previously obscure models. Conclusion: The subsequent increased transparency and trust in medical machine learning models by clinicians as well as patients will accelerate the integration, application as well as further development of medical AI for the healthcare system as a whole

arxiv情報

提供元, 利用サービス

arxiv.jp, Google