CondSeg: Ellipse Estimation of Pupil and Iris via Conditioned Segmentation

要約

目のコンポーネント (つまり、瞳孔、虹彩、強膜) の解析は、AR/VR 製品の視線追跡と視線推定の基礎です。
主流のアプローチは、瞳孔/虹彩の可視部分のみを提供するマルチクラス セグメンテーション タスクとしてこの問題に取り組みます。他の方法は、人間が注釈を付けた完全な瞳孔/虹彩パラメータを使用して楕円パラメータを回帰します。
この論文では、2 つの事前条件を考慮します。投影された瞳孔/虹彩の全円は楕円でモデル化でき (事前楕円)、瞳孔/虹彩の可視性は眼領域の開度によって制御されます (事前条件)、そして新しい方法を設計します。
CondSeg は、完全な楕円に明示的に注釈を付けることなく、セグメンテーション ラベルから瞳孔/虹彩の楕円パラメータを直接推定し、目領域マスクを使用して推定された瞳孔/虹彩の楕円の可視性を制御します。
条件付きセグメンテーション損失は、パラメータ化された楕円を微分可能な方法でピクセル単位のソフト マスクに変換することにより、パラメータを最適化するために使用されます。
私たちの手法は公開データセット (OpenEDS-2019/-2020) でテストされ、セグメンテーション メトリックに関して競合する結果を示し、同時に視線追跡のさらなるアプリケーションに正確な楕円パラメータを提供します。

要約(オリジナル)

Parsing of eye components (i.e. pupil, iris and sclera) is fundamental for eye tracking and gaze estimation for AR/VR products. Mainstream approaches tackle this problem as a multi-class segmentation task, providing only visible part of pupil/iris, other methods regress elliptical parameters using human-annotated full pupil/iris parameters. In this paper, we consider two priors: projected full pupil/iris circle can be modelled with ellipses (ellipse prior), and the visibility of pupil/iris is controlled by openness of eye-region (condition prior), and design a novel method CondSeg to estimate elliptical parameters of pupil/iris directly from segmentation labels, without explicitly annotating full ellipses, and use eye-region mask to control the visibility of estimated pupil/iris ellipses. Conditioned segmentation loss is used to optimize the parameters by transforming parameterized ellipses into pixel-wise soft masks in a differentiable way. Our method is tested on public datasets (OpenEDS-2019/-2020) and shows competitive results on segmentation metrics, and provides accurate elliptical parameters for further applications of eye tracking simultaneously.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google