Bidirectional Semi-supervised Dual-branch CNN for Robust 3D Reconstruction of Stereo Endoscopic Images via Adaptive Cross and Parallel Supervisions

要約

タイトル：アダプティブクロスと並列の教師-生徒ネットワークを通した、双方向半教師ありデュアルブランチCNNによる健全な3Dステレオ内視鏡画像の再構築

要約：
– 少数の教師付きサンプルでモデルを効果的にトレーニングする半教師あり学習は、教師の予測から追加のラベルなしデータを使用して、生徒モデルに知識を蒸留することができます。しかしながら、そのような知識の流れは通常一方向であり、教師モデルの品質に脆弱なパフォーマンスがあります。
– この論文では、2つの学習者間の双方向学習の新しい方法を提案することによって、健全な3Dステレオ内視鏡画像の再構築を実現します。2つの学習者は、同時に教師と生徒の役割を果たすことができます。具体的には、2つの自己監視、すなわちアダプティブクロス監視（ACS）とアダプティブパラレル監視（APS）を導入して、デュアルブランチ畳み込みニューラルネットワークを学習します。
– 2つの枝は同じ位置で2つの異なる視差確率分布を予測し、期待値として視差値を出力します。学習された知識は、ACSではクロス方向（視差がACSの分布を誘導する）と平行方向（視差がAPSの視差を誘導する）の2つの方向に沿って枝間を流れます。また、各枝は、指定された監視を動的に微調整するための自信値も学習します。ACSでは、予測された視差は単峰性分布にソフト化され、自信度が低いほど分布が平滑化されます。APSでは、不正確な予測は、信頼度が低いものの重みを下げることで抑制されます。
– アダプティブ双方向学習により、2つの枝は適切に調整された監視を受け、一貫したより正確な視差推定に収束します。4つの公開データセットでの広範な実験結果は、平均視差誤差の相対減少率が少なくとも9.76％低く、他の最新の状態よりも優れていることを示しています。

要約(オリジナル)

Semi-supervised learning via teacher-student network can train a model effectively on a few labeled samples. It enables a student model to distill knowledge from the teacher’s predictions of extra unlabeled data. However, such knowledge flow is typically unidirectional, having the performance vulnerable to the quality of teacher model. In this paper, we seek to robust 3D reconstruction of stereo endoscopic images by proposing a novel fashion of bidirectional learning between two learners, each of which can play both roles of teacher and student concurrently. Specifically, we introduce two self-supervisions, i.e., Adaptive Cross Supervision (ACS) and Adaptive Parallel Supervision (APS), to learn a dual-branch convolutional neural network. The two branches predict two different disparity probability distributions for the same position, and output their expectations as disparity values. The learned knowledge flows across branches along two directions: a cross direction (disparity guides distribution in ACS) and a parallel direction (disparity guides disparity in APS). Moreover, each branch also learns confidences to dynamically refine its provided supervisions. In ACS, the predicted disparity is softened into a unimodal distribution, and the lower the confidence, the smoother the distribution. In APS, the incorrect predictions are suppressed by lowering the weights of those with low confidence. With the adaptive bidirectional learning, the two branches enjoy well-tuned supervisions, and eventually converge on a consistent and more accurate disparity estimation. The extensive and comprehensive experimental results on four public datasets demonstrate our superior performance over other state-of-the-arts with a relative decrease of averaged disparity error by at least 9.76%.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI