Deep Spherical Superpixels

要約

長年にわたり、スーパーピクセル セグメンテーションの使用はさまざまなアプリケーションで非常に一般的になり、意味論的な内容に関係なく、画像の内容に適応してデータ サイズを削減する前処理ステップとして機能します。
90{\deg} の視野で撮影された標準的な平面画像のスーパーピクセル セグメンテーションは広く研究されてきましたが、360{\deg} の視野で撮影された全天球画像または全天球画像に対する専用の方法にはあまり重点が置かれていませんでした。
ビュー。
この研究では、DSS (Deep Spherical Superpixels) と呼ばれる、全方向画像に合わせた初の深層学習ベースのスーパーピクセル セグメンテーション アプローチを紹介します。
私たちの方法論は、球面 CNN アーキテクチャとスーパーピクセルの微分可能な K 平均法クラスタリング パラダイムを利用して、球面ジオメトリに従うスーパーピクセルを生成します。
さらに、360{\deg} 画像用に特別に設計されたデータ拡張手法を使用することを提案します。これにより、モデルが限られた注釈付き全方位データのセットから効率的に学習できるようになります。
2 つのデータセットにわたる広範な検証により、このような画像に固有の円形ジオメトリをフレームワークに考慮することで、従来の深層学習ベースのスーパーピクセル手法よりもセグメンテーションのパフォーマンスが向上することが実証されました。
私たちのコードはオンラインで入手できます。

要約(オリジナル)

Over the years, the use of superpixel segmentation has become very popular in various applications, serving as a preprocessing step to reduce data size by adapting to the content of the image, regardless of its semantic content. While the superpixel segmentation of standard planar images, captured with a 90{\deg} field of view, has been extensively studied, there has been limited focus on dedicated methods to omnidirectional or spherical images, captured with a 360{\deg} field of view. In this study, we introduce the first deep learning-based superpixel segmentation approach tailored for omnidirectional images called DSS (for Deep Spherical Superpixels). Our methodology leverages on spherical CNN architectures and the differentiable K-means clustering paradigm for superpixels, to generate superpixels that follow the spherical geometry. Additionally, we propose to use data augmentation techniques specifically designed for 360{\deg} images, enabling our model to efficiently learn from a limited set of annotated omnidirectional data. Our extensive validation across two datasets demonstrates that taking into account the inherent circular geometry of such images into our framework improves the segmentation performance over traditional and deep learning-based superpixel methods. Our code is available online.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google