Hierarchical Agent-based Reinforcement Learning Framework for Automated Quality Assessment of Fetal Ultrasound Video

要約

タイトル：自動胎児超音波動画の品質評価のための階層的エージェントベースの強化学習フレームワーク

要約：
– 胎児の成長を調べるためには、超音波が主なモダリティであるが、画像の品質は様々な要因によって影響を受ける。
– 品質評価は、視覚的な価値や診断的な価値を両方確保するために、超音波画像の品質を制御するために必要である。
– 既存の自動化手法は、構造的な注釈が必要であり、予測が人間の専門家による評価結果と必ずしも一致するとは限らない。
– さらに、スキャン全体の品質とフレームの品質の相関も見過ごしてはならない。
– 本研究では、2つの階層エージェントによって共同でフレームレベルとビデオレベルの品質評価を実行することを学習する強化学習フレームワークを提案する。
– タイムスタンプに依存する報酬メカニズムを特別に設計しており、スパースな2値注釈だけで訓練できる。
– 難しい胎児脳データセットでの実験結果は、提案されたフレームとビデオの2つのレベルの品質評価を実行でき、その予測結果が主観的な評価結果とよく相関することを示している。

要約(オリジナル)

Ultrasound is the primary modality to examine fetal growth during pregnancy, while the image quality could be affected by various factors. Quality assessment is essential for controlling the quality of ultrasound images to guarantee both the perceptual and diagnostic values. Existing automated approaches often require heavy structural annotations and the predictions may not necessarily be consistent with the assessment results by human experts. Furthermore, the overall quality of a scan and the correlation between the quality of frames should not be overlooked. In this work, we propose a reinforcement learning framework powered by two hierarchical agents that collaboratively learn to perform both frame-level and video-level quality assessments. It is equipped with a specially-designed reward mechanism that considers temporal dependency among frame quality and only requires sparse binary annotations to train. Experimental results on a challenging fetal brain dataset verify that the proposed framework could perform dual-level quality assessment and its predictions correlate well with the subjective assessment results.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI