AHMF: Adaptive Hybrid-Memory-Fusion Model for Driver Attention Prediction

要約

ドライバーの注意力を正確に予測することは、インテリジェント車両が交通状況を理解し、情報に基づいて運転の意思決定を行う上で重要な参考資料として役立ちます。
ドライバーの注意予測に関する既存の研究は、高度な顕著性検出技術を組み込むことでパフォーマンスを向上させましたが、認知科学の観点から運転タスクを分析することで人間からインスピレーションを得た予測を実現する機会を見落としていました。
運転中、ドライバーの作業記憶と長期記憶は、それぞれ場面の理解と経験の想起において重要な役割を果たします。
これらが連携して状況認識を形成し、ドライバーが現在の交通状況を迅速に理解し、過去の運転経験に基づいて最適な決定を下せるようにします。
これら 2 種類のメモリを明示的に統合するために、この論文では、より人間らしい予測を実現するアダプティブ ハイブリッド メモリ フュージョン (AHMF) ドライバー注意予測モデルを提案します。
具体的には、モデルはまず、現在のシーン内の特定の危険な刺激に関する情報をエンコードして、作業記憶を形成します。
次に、最終的な予測のために長期記憶から同様の状況経験を適応的に取得します。
ドメイン適応技術を利用して、モデルは複数のデータセットにわたって並行トレーニングを実行し、それによって長期記憶モジュール内に蓄積された運転体験を強化します。
既存のモデルと比較して、私たちのモデルは複数の公開データセットのさまざまな指標にわたって大幅な改善を示し、ドライバーの注意力予測におけるハイブリッドメモリの統合の有効性を証明しています。

要約(オリジナル)

Accurate driver attention prediction can serve as a critical reference for intelligent vehicles in understanding traffic scenes and making informed driving decisions. Though existing studies on driver attention prediction improved performance by incorporating advanced saliency detection techniques, they overlooked the opportunity to achieve human-inspired prediction by analyzing driving tasks from a cognitive science perspective. During driving, drivers’ working memory and long-term memory play crucial roles in scene comprehension and experience retrieval, respectively. Together, they form situational awareness, facilitating drivers to quickly understand the current traffic situation and make optimal decisions based on past driving experiences. To explicitly integrate these two types of memory, this paper proposes an Adaptive Hybrid-Memory-Fusion (AHMF) driver attention prediction model to achieve more human-like predictions. Specifically, the model first encodes information about specific hazardous stimuli in the current scene to form working memories. Then, it adaptively retrieves similar situational experiences from the long-term memory for final prediction. Utilizing domain adaptation techniques, the model performs parallel training across multiple datasets, thereby enriching the accumulated driving experience within the long-term memory module. Compared to existing models, our model demonstrates significant improvements across various metrics on multiple public datasets, proving the effectiveness of integrating hybrid memories in driver attention prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google