Saliency-based Multiple Region of Interest Detection from a Single 360° image

要約

360度画像は、カメラ周辺の全方位的な視覚情報を含んでいるため、情報量が豊富です。しかし、360度画像に含まれる領域は人間の視野よりはるかに広いため、異なる視野方向の重要な情報が見落とされやすい。この問題を解決するために、視覚的顕著性を手がかりに、1枚の360度画像から最適な関心領域（ROI）を予測する手法を提案する。また、既存の360度画像の顕著性予測データセットでは学習データが少なく、偏りがあるため、球面ランダム回転に基づくデータ補強手法を提案する。予測された顕著性マップと冗長な候補領域から、領域内の顕著性と領域間のInteraction-Over-Union (IoU) の両方を考慮した最適なROIの集合を得ることができる。提案手法は、入力360{deg}画像を適切に要約する領域を選択できることを主観評価により示す。

要約(オリジナル)

360{\deg} images are informative — it contains omnidirectional visual information around the camera. However, the areas that cover a 360{\deg} image is much larger than the human’s field of view, therefore important information in different view directions is easily overlooked. To tackle this issue, we propose a method for predicting the optimal set of Region of Interest (RoI) from a single 360{\deg} image using the visual saliency as a clue. To deal with the scarce, strongly biased training data of existing single 360{\deg} image saliency prediction dataset, we also propose a data augmentation method based on the spherical random data rotation. From the predicted saliency map and redundant candidate regions, we obtain the optimal set of RoIs considering both the saliency within a region and the Interaction-Over-Union (IoU) between regions. We conduct the subjective evaluation to show that the proposed method can select regions that properly summarize the input 360{\deg} image.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL