DeepMetricEye: Metric Depth Estimation in Periocular VR Imagery

要約

VR ヘッドセットによってリアリズムと没入感が向上したにもかかわらず、ユーザーは、VR ディスプレイからの過剰な目の刺激やマスクからの圧力による、デジタル眼精疲労 (DES)、ドライアイ、潜在的な長期視覚障害などの悪影響に頻繁に遭遇します。
最近の VR ヘッドセットには、目の特徴マップをセグメント化するための目指向の単眼カメラが搭載されることが増えています。
しかし、入射光の刺激を計算し、眼周囲の状態の変化を観察するには、これらの相対的な測定値をメートル寸法に変換することが不可欠です。
このギャップを埋めるために、測定可能な眼周囲深度マップを推定するために、再最適化した U-Net 3+ 深層学習バックボーンから派生した軽量フレームワークを提案します。
眼球指向の単眼カメラを備えたあらゆる VR ヘッドセットと互換性のある当社の方法は、三次元の眼周囲領域を再構築し、関連する光刺激計算プロトコルと医療ガイドラインの基準となる基準を提供します。
データ収集の複雑さを解決するために、UE MetaHuman に基づく動的眼周囲データ生成 (DPDG) 環境を導入します。これは、少量の人間の顔スキャン データから数千のトレーニング画像を合成します。
36 人の参加者のサンプルで評価したところ、私たちの方法は、眼周囲の全体的な精度評価実験と瞳孔径の測定において顕著な有効性を示しました。

要約(オリジナル)

Despite the enhanced realism and immersion provided by VR headsets, users frequently encounter adverse effects such as digital eye strain (DES), dry eye, and potential long-term visual impairment due to excessive eye stimulation from VR displays and pressure from the mask. Recent VR headsets are increasingly equipped with eye-oriented monocular cameras to segment ocular feature maps. Yet, to compute the incident light stimulus and observe periocular condition alterations, it is imperative to transform these relative measurements into metric dimensions. To bridge this gap, we propose a lightweight framework derived from the U-Net 3+ deep learning backbone that we re-optimised, to estimate measurable periocular depth maps. Compatible with any VR headset equipped with an eye-oriented monocular camera, our method reconstructs three-dimensional periocular regions, providing a metric basis for related light stimulus calculation protocols and medical guidelines. Navigating the complexities of data collection, we introduce a Dynamic Periocular Data Generation (DPDG) environment based on UE MetaHuman, which synthesises thousands of training images from a small quantity of human facial scan data. Evaluated on a sample of 36 participants, our method exhibited notable efficacy in the periocular global precision evaluation experiment, and the pupil diameter measurement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google