Multi Kernel Estimation based Object Segmentation

要約

この論文では、従来画像全体に対して単一のカーネルを推定する KernelGAN アルゴリズムを強化することによる、マルチカーネル推定の新しいアプローチを紹介します。
Multi-KernelGAN を導入します。これは、オブジェクト セグメンテーション マスクに基づいて 2 つの異なるカーネルを推定することにより、KernelGAN の機能を拡張します。
私たちのアプローチは、テクスチャ ベースのパッチ高速フーリエ変換 (FFT) 計算、詳細ベースのセグメンテーション、YOLOv8 とセグメント エニシング モデル (SAM) を使用した深層学習ベースのオブジェクト セグメンテーションという 3 つの異なる方法を通じて検証されています。
これらの方法の中で、YOLO と SAM を組み合わせると、カーネル推定に最良の結果が得られます。
実験結果は、私たちのマルチカーネル推定手法が超解像タスクにおいて従来のシングルカーネル手法よりも優れていることを示しています。

要約(オリジナル)

This paper presents a novel approach for multi-kernel estimation by enhancing the KernelGAN algorithm, which traditionally estimates a single kernel for the entire image. We introduce Multi-KernelGAN, which extends KernelGAN’s capabilities by estimating two distinct kernels based on object segmentation masks. Our approach is validated through three distinct methods: texture-based patch Fast Fourier Transform (FFT) calculation, detail-based segmentation, and deep learning-based object segmentation using YOLOv8 and the Segment Anything Model (SAM). Among these methods, the combination of YOLO and SAM yields the best results for kernel estimation. Experimental results demonstrate that our multi-kernel estimation technique outperforms conventional single-kernel methods in super-resolution tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google