BESTMVQA: A Benchmark Evaluation System for Medical Visual Question Answering

要約

Medical Visual Question Answering (Med-VQA) は、医療画像を使用して自然言語の質問に答える、医療業界において非常に重要なタスクです。
情報システムにおける既存の VQA 技術は、タスクの解決に直接適用できます。
しかし、多くの場合、(i) データ不足の問題により、ドメイン固有のタスク向けに最先端技術 (SOTA) をトレーニングすることが困難になります。また、(ii) 多くの既存のモデルでは再現性の問題が発生します。
統一された実験設定で徹底的に評価されました。
これらの問題に対処するために、この文書では、BESTMVQA と呼ばれる医療視覚質問応答用のベンチマーク評価システムを開発します。
当社のシステムは、自己収集された臨床データを基に、Med-VQA データセットを自動的に構築する便利なツールをユーザーに提供し、データ不足の問題の克服に役立ちます。
ユーザーは、モデル ライブラリから幅広い SOTA モデルを簡単に選択して、包括的な実証研究を実行することもできます。
シンプルな構成で、当社のシステムはベンチマーク データセット上で選択したモデルを自動的にトレーニングおよび評価し、ユーザーが新しい技術を開発したり医療行為を行ったりできるように包括的な結果をレポートします。
既存の作業の制限は、(i) 非構造化臨床データから新しいデータセットを自動的に構築するデータ生成ツールによって、(ii) 統一された実験設定でベンチマーク データセットの SOTA を評価することによって克服されます。
当社のシステムのデモビデオは https://youtu.be/QkEeFlu1x4A でご覧いただけます。
私たちのコードとデータは間もなく利用可能になります。

要約(オリジナル)

Medical Visual Question Answering (Med-VQA) is a very important task in healthcare industry, which answers a natural language question with a medical image. Existing VQA techniques in information systems can be directly applied to solving the task. However, they often suffer from (i) the data insufficient problem, which makes it difficult to train the state of the arts (SOTAs) for the domain-specific task, and (ii) the reproducibility problem, that many existing models have not been thoroughly evaluated in a unified experimental setup. To address these issues, this paper develops a Benchmark Evaluation SysTem for Medical Visual Question Answering, denoted by BESTMVQA. Given self-collected clinical data, our system provides a useful tool for users to automatically build Med-VQA datasets, which helps overcoming the data insufficient problem. Users also can conveniently select a wide spectrum of SOTA models from our model library to perform a comprehensive empirical study. With simple configurations, our system automatically trains and evaluates the selected models over a benchmark dataset, and reports the comprehensive results for users to develop new techniques or perform medical practice. Limitations of existing work are overcome (i) by the data generation tool, which automatically constructs new datasets from unstructured clinical data, and (ii) by evaluating SOTAs on benchmark datasets in a unified experimental setup. The demonstration video of our system can be found at https://youtu.be/QkEeFlu1x4A. Our code and data will be available soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google