Smartphone-based Eye Tracking System using Edge Intelligence and Model Optimisation

要約

現在のスマートフォンベースの視線追跡アルゴリズムの重大な制限は、通常、静止画像でトレーニングされるため、ビデオタイプの視覚刺激に適用した場合の精度が低いことです。
また、スマートフォン上のゲーム、VR、AR などのリアルタイム インタラクティブ アプリケーションに対する需要が高まっているため、限られた計算能力、バッテリー寿命、ネットワーク帯域幅などのリソースの制約によってもたらされる制限を克服する必要があります。
そこで、畳み込みニューラル ネットワーク (CNN) と 2 つの異なるリカレント ニューラル ネットワーク (RNN)、すなわち長短期記憶 (LSTM) とゲート付きリカレント ユニット (GRU) を組み合わせることにより、ビデオ タイプのビジュアル向けの 2 つの新しいスマートフォン アイトラッキング技術を開発しました。
CNN+LSTM モデルと CNN+GRU モデルは、それぞれ平均二乗平均平方根誤差 0.955cm と 1.091cm を達成しました。
スマートフォンの計算上の制約に対処するために、スマートフォンベースの視線追跡のパフォーマンスを強化するエッジ インテリジェンス アーキテクチャを開発しました。
量子化や枝刈りなどのさまざまな最適化手法をディープ ラーニング モデルに適用して、リアルタイム処理に重点を置き、エッジ デバイスでのエネルギー、CPU、メモリの使用量を改善しました。
モデルの量子化を使用すると、CNN+LSTM モデルと CNN+GRU モデルのモデル推論時間が、エッジ デバイス上でそれぞれ 21.72% と 19.50% 短縮されました。

要約(オリジナル)

A significant limitation of current smartphone-based eye-tracking algorithms is their low accuracy when applied to video-type visual stimuli, as they are typically trained on static images. Also, the increasing demand for real-time interactive applications like games, VR, and AR on smartphones requires overcoming the limitations posed by resource constraints such as limited computational power, battery life, and network bandwidth. Therefore, we developed two new smartphone eye-tracking techniques for video-type visuals by combining Convolutional Neural Networks (CNN) with two different Recurrent Neural Networks (RNN), namely Long Short Term Memory (LSTM) and Gated Recurrent Unit (GRU). Our CNN+LSTM and CNN+GRU models achieved an average Root Mean Square Error of 0.955cm and 1.091cm, respectively. To address the computational constraints of smartphones, we developed an edge intelligence architecture to enhance the performance of smartphone-based eye tracking. We applied various optimisation methods like quantisation and pruning to deep learning models for better energy, CPU, and memory usage on edge devices, focusing on real-time processing. Using model quantisation, the model inference time in the CNN+LSTM and CNN+GRU models was reduced by 21.72% and 19.50%, respectively, on edge devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google