Towards Human-AI Collaboration in Healthcare: Guided Deferral Systems with Large Language Models

要約

大規模言語モデル（LLM）は、ヘルスケアにおける様々なアプリケーションのための貴重な技術を提示するが、その幻覚傾向は、重要な意思決定状況において許容できない不確実性をもたらす。人間とAIの協調（HAIC）は、より良い結果を得るために人間とAIの長所を組み合わせることにより、この不確実性を軽減することができる。本論文では、AIが人間の意思決定者にケースを延期する際に、インテリジェントなガイダンスを提供する新しいガイド付き延期システムを紹介する。LLMの言語化能力と内部状態を活用してこのシステムを構築し、大規模LLMのデータを用いて小規模LLMを微調整することで、計算効率とデータプライバシーを維持しながら性能を大幅に向上できることを実証する。パイロットスタディにより、提案する遅延システムの有効性を示す。

要約(オリジナル)

Large language models (LLMs) present a valuable technology for various applications in healthcare, but their tendency to hallucinate introduces unacceptable uncertainty in critical decision-making situations. Human-AI collaboration (HAIC) can mitigate this uncertainty by combining human and AI strengths for better outcomes. This paper presents a novel guided deferral system that provides intelligent guidance when AI defers cases to human decision-makers. We leverage LLMs’ verbalisation capabilities and internal states to create this system, demonstrating that fine-tuning small-scale LLMs with data from large-scale LLMs greatly enhances performance while maintaining computational efficiency and data privacy. A pilot study showcases the effectiveness of our proposed deferral system.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL