要約
モバイルの視線追跡は基本的な課題に直面しています。ユーザーが自然に姿勢やデバイスの向きを変えるにつれて、正確性を維持します。
従来のキャリブレーションアプローチは、1回限りのように、これらの動的な条件に適応できず、長期にわたってパフォーマンスが低下します。
スマートフォンの慣性測定ユニット（IMU）センサーと継続的な学習手法を活用するモーション認識継続的なキャリブレーションアプローチであるMac-Gazeを提示し、ユーザーモーション状態の変更を自動的に検出し、それに応じて視線追跡モデルを更新します。
当社のシステムは、事前に訓練された視覚的視線推定器とIMUベースのアクティビティ認識モデルを、モーションパターンが以前に遭遇した状態から大幅に逸脱する場合に再調整をトリガーするクラスタリングベースのハイブリッド意思決定メカニズムと統合します。
壊滅的な忘却を緩和しながら新しい動き条件の蓄積学習を可能にするために、リプレイベースの継続的な学習を採用し、モデルが以前に遭遇した運動条件全体でパフォーマンスを維持できるようにします。
公開されているRGBDGAZEデータセットと10時間のマルチモーダルMotionAgazeデータセット（481K+画像、800K+ IMUの測定値）に関する広範な実験を通じて、システムを評価し、座っている、立っている、嘘をつく、歩くなど、さまざまな運動条件の下で幅広い姿勢を網羅しています。
結果は、私たちの方法が、従来の校正アプローチと比較して、RGBDgaze（1.73 cmから1.41 cm）で視線推定誤差を19.9％減少させ、MotionAgazeで31.7％（2.81 cmから1.92 cm）で31.7％減少することを示しています。
私たちのフレームワークは、モバイルシナリオで視線の推定精度を維持するための堅牢なソリューションを提供します。
要約(オリジナル)
Mobile gaze tracking faces a fundamental challenge: maintaining accuracy as users naturally change their postures and device orientations. Traditional calibration approaches, like one-off, fail to adapt to these dynamic conditions, leading to degraded performance over time. We present MAC-Gaze, a Motion-Aware continual Calibration approach that leverages smartphone Inertial measurement unit (IMU) sensors and continual learning techniques to automatically detect changes in user motion states and update the gaze tracking model accordingly. Our system integrates a pre-trained visual gaze estimator and an IMU-based activity recognition model with a clustering-based hybrid decision-making mechanism that triggers recalibration when motion patterns deviate significantly from previously encountered states. To enable accumulative learning of new motion conditions while mitigating catastrophic forgetting, we employ replay-based continual learning, allowing the model to maintain performance across previously encountered motion conditions. We evaluate our system through extensive experiments on the publicly available RGBDGaze dataset and our own 10-hour multimodal MotionGaze dataset (481K+ images, 800K+ IMU readings), encompassing a wide range of postures under various motion conditions including sitting, standing, lying, and walking. Results demonstrate that our method reduces gaze estimation error by 19.9% on RGBDGaze (from 1.73 cm to 1.41 cm) and by 31.7% on MotionGaze (from 2.81 cm to 1.92 cm) compared to traditional calibration approaches. Our framework provides a robust solution for maintaining gaze estimation accuracy in mobile scenarios.
arxiv情報
| 著者 | Yaxiong Lei,Mingyue Zhao,Yuheng Wang,Shijing He,Yusuke Sugano,Mohamed Khamis,Juan Ye |
| 発行日 | 2025-06-05 16:49:14+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google