Image Compression Using Novel View Synthesis Priors

要約

リアルタイムの視覚フィードバックは、特に検査や操作作業中に、遠隔操作車両のテザーレス制御に不可欠です。
音響通信は水中での中距離通信には好ましい選択肢ですが、帯域幅が限られているため、画像やビデオをリアルタイムで送信するのは非現実的です。
これに対処するために、事前のミッション情報を活用するモデルベースの画像圧縮技術を提案します。
私たちのアプローチは、トレーニングされた機械学習ベースの新しいビュー合成モデルを採用し、勾配降下最適化を使用して潜在表現を洗練し、カメラ画像とレンダリング画像の間に圧縮可能な差分を生成するのに役立ちます。
人工海洋盆地からのデータセットを使用して提案された圧縮技術を評価し、既存の技術よりも優れた圧縮率と画質を実証しました。
さらに、私たちの方法はシーン内への新しいオブジェクトの導入に対する堅牢性を示し、テザーレス遠隔操作車両の運用を進歩させる可能性を強調しています。

要約(オリジナル)

Real-time visual feedback is essential for tetherless control of remotely operated vehicles, particularly during inspection and manipulation tasks. Though acoustic communication is the preferred choice for medium-range communication underwater, its limited bandwidth renders it impractical to transmit images or videos in real-time. To address this, we propose a model-based image compression technique that leverages prior mission information. Our approach employs trained machine-learning based novel view synthesis models, and uses gradient descent optimization to refine latent representations to help generate compressible differences between camera images and rendered images. We evaluate the proposed compression technique using a dataset from an artificial ocean basin, demonstrating superior compression ratios and image quality over existing techniques. Moreover, our method exhibits robustness to introduction of new objects within the scene, highlighting its potential for advancing tetherless remotely operated vehicle operations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google