DreamSat: Towards a General 3D Model for Novel View Synthesis of Space Objects

要約

ノベル ビュー合成 (NVS) を使用すると、シーンの新しいイメージを生成したり、一連の 2D イメージを包括的な 3D モデルに変換したりできます。
宇宙ドメイン認識のコンテキストでは、宇宙はますます混雑しているため、NVS は宇宙の物体や破片を正確にマッピングし、宇宙運用の安全性と効率を向上させることができます。
同様に、ランデブーおよび近接作戦ミッションでは、3D モデルによってターゲット オブジェクトの形状、サイズ、方向に関する詳細が提供され、ターゲットの行動のより適切な計画と予測が可能になります。
この研究では、Zero123 XL を微調整することにより、単一ビュー画像からの 3D 宇宙船再構築への新しいアプローチである DreamSat を提示することで、新しいシーンごとに再トレーニングする必要性を回避することを目的として、これらの再構築技術の一般化能力を調査します。
は、190 個の高品質宇宙船モデルの高品質データセットをベースとした、最先端のシングルビュー再構成モデ​​ルであり、それを DreamGaussian フレームワークに統合しています。
対照的言語画像事前トレーニング (CLIP) スコア (+0.33%)、ピーク信号対雑音比 (PSNR) (+2.53%)、構造類似性指数 (SSIM) など、複数の指標にわたって再構成品質が一貫して向上していることを実証しています。
+2.38%)、およびこれまでに見たことのない 30 個の宇宙船画像のテスト セットでの学習知覚画像パッチ類似性 (LPIPS) (+0.16%)。
私たちの手法は、最先端の拡散モデルと 3D ガウス スプラッティング技術を活用することで、宇宙産業におけるドメイン固有の 3D 再構成ツールの欠如に対処します。
このアプローチは、DreamGaussian フレームワークの効率を維持しながら、宇宙船の再構成の精度と詳細を向上させます。
この作業のコードは、GitHub (https://github.com/ARCLab-MIT/space-nvs) でアクセスできます。

要約(オリジナル)

Novel view synthesis (NVS) enables to generate new images of a scene or convert a set of 2D images into a comprehensive 3D model. In the context of Space Domain Awareness, since space is becoming increasingly congested, NVS can accurately map space objects and debris, improving the safety and efficiency of space operations. Similarly, in Rendezvous and Proximity Operations missions, 3D models can provide details about a target object’s shape, size, and orientation, allowing for better planning and prediction of the target’s behavior. In this work, we explore the generalization abilities of these reconstruction techniques, aiming to avoid the necessity of retraining for each new scene, by presenting a novel approach to 3D spacecraft reconstruction from single-view images, DreamSat, by fine-tuning the Zero123 XL, a state-of-the-art single-view reconstruction model, on a high-quality dataset of 190 high-quality spacecraft models and integrating it into the DreamGaussian framework. We demonstrate consistent improvements in reconstruction quality across multiple metrics, including Contrastive Language-Image Pretraining (CLIP) score (+0.33%), Peak Signal-to-Noise Ratio (PSNR) (+2.53%), Structural Similarity Index (SSIM) (+2.38%), and Learned Perceptual Image Patch Similarity (LPIPS) (+0.16%) on a test set of 30 previously unseen spacecraft images. Our method addresses the lack of domain-specific 3D reconstruction tools in the space industry by leveraging state-of-the-art diffusion models and 3D Gaussian splatting techniques. This approach maintains the efficiency of the DreamGaussian framework while enhancing the accuracy and detail of spacecraft reconstructions. The code for this work can be accessed on GitHub (https://github.com/ARCLab-MIT/space-nvs).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google