Can DeepSeek Reason Like a Surgeon? An Empirical Evaluation for Vision-Language Understanding in Robotic-Assisted Surgery

要約

DeepSeekモデルは、その効率的な学習パラダイムと強力な推論能力により、一般的なシーン理解、質問応答（QA）、テキスト生成タスクにおいて卓越した性能を示している。本研究では、ロボット手術シナリオにおけるDeepSeekモデルの対話能力を、Single Phrase QA、Visual QA、Detailed Descriptionといったタスクに焦点を当てて調査する。Single Phrase QAタスクにはさらに、手術器具認識、動作理解、空間位置分析などのサブタスクが含まれる。我々は、EndoVis18やCholecT50などの一般に公開されているデータセットと、それらに対応する対話データを用いて、広範な評価を行った。我々の実証研究によると、既存の汎用マルチモーダル大規模言語モデルと比較して、DeepSeek-VL2は、手術シーンにおける複雑な理解タスクで優れた性能を発揮する。さらに、DeepSeek-V3は純粋に言語モデルですが、画像トークンが直接入力された場合、単一センテンスのQAタスクでより良いパフォーマンスを示すことがわかりました。しかし、全体として、DeepSeekモデルは、手術シーンを理解するための臨床要件を満たすにはまだ不十分である。一般的なプロンプトの下では、DeepSeekモデルはグローバルな手術概念を効果的に分析する能力に欠け、手術シナリオに対する詳細な洞察を提供できない。我々の観察に基づき、我々は、DeepSeekモデルは、手術に特化したデータセット上で微調整することなく、手術の文脈における視覚言語タスクの準備ができていないと主張する。

要約(オリジナル)

The DeepSeek models have shown exceptional performance in general scene understanding, question-answering (QA), and text generation tasks, owing to their efficient training paradigm and strong reasoning capabilities. In this study, we investigate the dialogue capabilities of the DeepSeek model in robotic surgery scenarios, focusing on tasks such as Single Phrase QA, Visual QA, and Detailed Description. The Single Phrase QA tasks further include sub-tasks such as surgical instrument recognition, action understanding, and spatial position analysis. We conduct extensive evaluations using publicly available datasets, including EndoVis18 and CholecT50, along with their corresponding dialogue data. Our empirical study shows that, compared to existing general-purpose multimodal large language models, DeepSeek-VL2 performs better on complex understanding tasks in surgical scenes. Additionally, although DeepSeek-V3 is purely a language model, we find that when image tokens are directly inputted, the model demonstrates better performance on single-sentence QA tasks. However, overall, the DeepSeek models still fall short of meeting the clinical requirements for understanding surgical scenes. Under general prompts, DeepSeek models lack the ability to effectively analyze global surgical concepts and fail to provide detailed insights into surgical scenarios. Based on our observations, we argue that the DeepSeek models are not ready for vision-language tasks in surgical contexts without fine-tuning on surgery-specific datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL