Ship in Sight: Diffusion Models for Ship-Image Super Resolution

要約

近年、画像生成の分野では目覚ましい進歩が達成されています。これは主に、修復、ノイズ除去、超解像度など、さまざまな画像生成サブタスクにわたる高品質の結果に対する需要の高まりによって推進されています。
低解像度画像の品質を向上させるための超解像度技術の応用の探索に主な努力が払われています。
これに関連して、私たちの方法は、沿岸および港湾の監視にとって重要な船舶画像の超解像度の問題を深く調査します。
私たちは、そのような基礎モデルがすでに学習している事前知識を利用して、テキストから画像への拡散モデルへの関心の高まりによって与えられる機会を調査します。
特に、超解像度画像の生成中に船舶の重要な詳細を最適に保存するために、クラスを認識しながらトレーニング中にテキスト コンディショニングを活用する拡散モデル ベースのアーキテクチャを紹介します。
このタスクの特殊性と既製データの入手可能性の不足のため、オンラインの船舶画像 (主に ShipSpotting\footnote{\url{www.shipspotting.com}}) の Web サイトから収集した大規模なラベル付き船舶データセットも紹介します。
実行された複数の実験によって証明されているように、私たちの方法は、超解像のために以前に使用された他の深層学習モデルよりも堅牢な結果を達成します。
さらに、このモデルが分類や物体検出などの下流タスクにどのように役立つかを調査し、現実世界のシナリオでの実用的な実装を強調します。
実験結果は、さまざまなタスクに対して、提案されたフレームワークの柔軟性、信頼性、および優れたパフォーマンスが最先端の手法を上回ることを示しています。
コードは https://github.com/LuigiSigillo/ShipinSight から入手できます。

要約(オリジナル)

In recent years, remarkable advancements have been achieved in the field of image generation, primarily driven by the escalating demand for high-quality outcomes across various image generation subtasks, such as inpainting, denoising, and super resolution. A major effort is devoted to exploring the application of super-resolution techniques to enhance the quality of low-resolution images. In this context, our method explores in depth the problem of ship image super resolution, which is crucial for coastal and port surveillance. We investigate the opportunity given by the growing interest in text-to-image diffusion models, taking advantage of the prior knowledge that such foundation models have already learned. In particular, we present a diffusion-model-based architecture that leverages text conditioning during training while being class-aware, to best preserve the crucial details of the ships during the generation of the super-resoluted image. Since the specificity of this task and the scarcity availability of off-the-shelf data, we also introduce a large labeled ship dataset scraped from online ship images, mostly from ShipSpotting\footnote{\url{www.shipspotting.com}} website. Our method achieves more robust results than other deep learning models previously employed for super resolution, as proven by the multiple experiments performed. Moreover, we investigate how this model can benefit downstream tasks, such as classification and object detection, thus emphasizing practical implementation in a real-world scenario. Experimental results show flexibility, reliability, and impressive performance of the proposed framework over state-of-the-art methods for different tasks. The code is available at: https://github.com/LuigiSigillo/ShipinSight .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google