Dental CLAIRES: Contrastive LAnguage Image REtrieval Search for Dental Research

要約

歯科研究にとって、歯科 X 線写真から診断上の特徴や関連する臨床情報を知ることは重要です。
しかし、専門家が注釈を付けたデータや便利な検索ツールが不足していることが課題となっています。
私たちの主な目的は、口腔関連の研究のためにユーザーのクエリを使用する検索ツールを設計することです。
提案されたフレームワークである歯科研究用の Contrastive LAnguage Image REtrieval Search (Dental CLAIRES) は、根尖周囲 X 線写真と歯周診断、人口統計情報などの関連する臨床詳細を利用して、テキスト クエリに基づいて最も一致する画像を検索します。
対比表現学習手法を適用し、正のペア (真のペア) の類似性スコアを最大化し、負のペア (ランダム ペア) のスコアを最小化することで、ユーザーのテキストで記述された画像を見つけました。
私たちのモデルは、96% のヒット@3 率と 0.82 の平均相互ランク (MRR) を達成しました。
また、研究者がインタラクションを使用してモデルのパフォーマンスを検証できるようにするグラフィカル ユーザー インターフェイスも設計しました。

要約(オリジナル)

Learning about diagnostic features and related clinical information from dental radiographs is important for dental research. However, the lack of expert-annotated data and convenient search tools poses challenges. Our primary objective is to design a search tool that uses a user’s query for oral-related research. The proposed framework, Contrastive LAnguage Image REtrieval Search for dental research, Dental CLAIRES, utilizes periapical radiographs and associated clinical details such as periodontal diagnosis, demographic information to retrieve the best-matched images based on the text query. We applied a contrastive representation learning method to find images described by the user’s text by maximizing the similarity score of positive pairs (true pairs) and minimizing the score of negative pairs (random pairs). Our model achieved a hit@3 ratio of 96% and a Mean Reciprocal Rank (MRR) of 0.82. We also designed a graphical user interface that allows researchers to verify the model’s performance with interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google