WinDB: HMD-free and Distortion-free Panoptic Video Fixation Learning

要約

現在まで、パノプティック ビデオで注視収集を実行するために広く採用されている方法は、ヘッドマウント ディスプレイ (HMD) に基づいており、HMD を装着して特定のパノプティック シーンを自由に探索しながら、ユーザーの注視が収集されます。
ただし、この広く使用されているデータ収集方法は、断続的な顕著なイベントが含まれている場合に、特定のパノプティック内のどの領域が最も重要であるかを正確に予測するディープ モデルをトレーニングするには不十分です。
その主な理由は、HMD を使用して注視点を収集するときに常に「ブラインド ズーム」が存在することです。これは、ユーザーがパノプティック シーン全体を常に探索するために頭を回転し続けることができないためです。
その結果、収集された注視点は一部の局所的なビューに閉じ込められる傾向があり、残りの領域は「ブラインド ズーム」のままになります。
したがって、局所的なビューを蓄積する HMD ベースの方法を使用して収集された注視データは、複雑なパノラマ シーンの全体的なグローバルな重要性 (注視の主な目的) を正確に表すことができません。
これを克服するために、本稿では、パノプティックビデオ用の動的ぼかし(WinDB)固定収集アプローチを備えた補助ウィンドウを紹介します。これは、HMDを必要とせず、地域ごとの重要度をよく反映できます。
WinDB アプローチを使用して、225 以上のカテゴリをカバーする 300 個のパノプティック クリップを含む新しい PanopticVideo-300 データセットをリリースしました。
具体的には、WinDB を使用して注視を収集するとブラインド ズームが不要なため、新しいセットには頻繁かつ集中的な「注視移動」 (以前の研究では長い間見落とされてきた非常に特殊な現象) が存在します。
したがって、それを克服するための効果的な固定移動ネットワーク (FishNet) を提案します。
これらすべての新しい固定収集ツール、データセット、およびネットワークは、360o 環境での固定関連の研究とアプリケーションに新時代を開く大きな可能性を秘めています。

要約(オリジナル)

To date, the widely adopted way to perform fixation collection in panoptic video is based on a head-mounted display (HMD), where users’ fixations are collected while wearing an HMD to explore the given panoptic scene freely. However, this widely-used data collection method is insufficient for training deep models to accurately predict which regions in a given panoptic are most important when it contains intermittent salient events. The main reason is that there always exist ‘blind zooms’ when using HMD to collect fixations since the users cannot keep spinning their heads to explore the entire panoptic scene all the time. Consequently, the collected fixations tend to be trapped in some local views, leaving the remaining areas to be the ‘blind zooms’. Therefore, fixation data collected using HMD-based methods that accumulate local views cannot accurately represent the overall global importance – the main purpose of fixations – of complex panoptic scenes. To conquer, this paper introduces the auxiliary window with a dynamic blurring (WinDB) fixation collection approach for panoptic video, which doesn’t need HMD and is able to well reflect the regional-wise importance degree. Using our WinDB approach, we have released a new PanopticVideo-300 dataset, containing 300 panoptic clips covering over 225 categories. Specifically, since using WinDB to collect fixations is blind zoom free, there exists frequent and intensive ‘fixation shifting’ – a very special phenomenon that has long been overlooked by the previous research – in our new set. Thus, we present an effective fixation shifting network (FishNet) to conquer it. All these new fixation collection tool, dataset, and network could be very potential to open a new age for fixation-related research and applications in 360o environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google