Revisiting Medical Image Retrieval via Knowledge Consolidation

要約

人工知能とデジタル医学がますますヘルスケアシステムに浸透するにつれて、倫理的、安全で効果的な実装を確保するためには、堅牢なガバナンスフレームワークが不可欠です。
これに関連して、医療画像検索は臨床データ管理の重要な要素になり、意思決定と患者情報の保護において重要な役割を果たします。
既存のメソッドは通常、ブレンド埋め込みから代表的なハッシュコードを生成できないボトルネック機能を使用してハッシュ関数を学習します。
対照的なハッシュは優れたパフォーマンスを示していますが、現在のアプローチは、カテゴリラベルを使用して正/負のペアを作成するために、画像の取得を分類タスクとして扱うことがよくあります。
さらに、モデルが外部OODクエリまたは敵対的な攻撃に遭遇した場合、多くの方法が分散排出（OOD）の問題に対処できません。
この作業では、階層的特徴と最適化関数に関する知識を統合する新しい方法を提案します。
深さに対応する表現融合（DARF）と構造対応のコントラストハッシュ（SCH）を導入することにより、知識の統合を策定します。
DARFは、浅い表現と深い表現をブレンド機能に統合し、SCHは画像の指紋を組み込んで、正/負のペアリングの適応性を高めます。
これらのブレンド機能は、OODの検出とコンテンツベースの推奨をさらに促進し、AI駆動型の安全なヘルスケア環境に貢献します。
さらに、検索結果の堅牢性と再現性を改善するために、コンテンツガイド付きランキングを提示します。
当社の包括的な評価は、提案された方法がOODサンプルを効果的に認識し、医療画像検索の既存のアプローチを大幅に上回ることができることを示しています（P <0.05）。 特に、この方法では、解剖学的放射線データセットの平均平均精度が5.6〜38.9％改善されます。

要約(オリジナル)

As artificial intelligence and digital medicine increasingly permeate healthcare systems, robust governance frameworks are essential to ensure ethical, secure, and effective implementation. In this context, medical image retrieval becomes a critical component of clinical data management, playing a vital role in decision-making and safeguarding patient information. Existing methods usually learn hash functions using bottleneck features, which fail to produce representative hash codes from blended embeddings. Although contrastive hashing has shown superior performance, current approaches often treat image retrieval as a classification task, using category labels to create positive/negative pairs. Moreover, many methods fail to address the out-of-distribution (OOD) issue when models encounter external OOD queries or adversarial attacks. In this work, we propose a novel method to consolidate knowledge of hierarchical features and optimisation functions. We formulate the knowledge consolidation by introducing Depth-aware Representation Fusion (DaRF) and Structure-aware Contrastive Hashing (SCH). DaRF adaptively integrates shallow and deep representations into blended features, and SCH incorporates image fingerprints to enhance the adaptability of positive/negative pairings. These blended features further facilitate OOD detection and content-based recommendation, contributing to a secure AI-driven healthcare environment. Moreover, we present a content-guided ranking to improve the robustness and reproducibility of retrieval results. Our comprehensive assessments demonstrate that the proposed method could effectively recognise OOD samples and significantly outperform existing approaches in medical image retrieval (p<0.05). In particular, our method achieves a 5.6-38.9% improvement in mean Average Precision on the anatomical radiology dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google