LoFi: Scalable Local Image Reconstruction with Implicit Neural Representation

要約

ニューラル フィールドまたは暗黙的ニューラル表現 (INR) は、画像と 3D ボリュームの効率的な連続表現により、機械学習と信号処理において大きな注目を集めています。
この研究では、INR に基づいて、LoFi (ローカル フィールド) と呼ばれる、イメージング逆問題を解決するための座標ベースのローカル処理フレームワークを導入します。
従来の画像再構成方法とは異なり、LoFi は多層パーセプトロン (MLP) によって各座標のローカル情報を \textit{個別に} 処理し、その特定の座標でオブジェクトを復元します。
INR と同様に、LoFi は任意の連続座標で画像を復元できるため、複数の解像度での画像再構成が可能になります。
LoFi は、画像再構成に関して標準 CNN と同等以上のパフォーマンスを備え、画像解像度にほとんど依存せずに、分布外のデータやメモリ使用量に対する優れた一般化を実現します。
驚くべきことに、$1024 \times 1024$ の画像のトレーニングに必要なメモリはわずか 3 GB です。これは、標準的な CNN で通常必要となるメモリの 20 分の 1 以上です。
さらに、LoFi のローカル設計により、オーバーフィッティングや正則化や早期停止を必要とせずに、10 サンプル未満の非常に小さなデータセットでトレーニングすることができます。
最後に、一般逆問題を解決するためのプラグ アンド プレイ フレームワークで事前ノイズ除去として LoFi を使用し、その連続画像表現と強力な一般化の利点を活用します。
LoFi は低解像度画像でトレーニングされていますが、任意の解像度で逆問題を解く前に低次元として使用できます。
私たちは、低線量コンピューター断層撮影から電波干渉イメージングまで、さまざまなイメージングモダリティにわたってフレームワークを検証します。

要約(オリジナル)

Neural fields or implicit neural representations (INRs) have attracted significant attention in machine learning and signal processing due to their efficient continuous representation of images and 3D volumes. In this work, we build on INRs and introduce a coordinate-based local processing framework for solving imaging inverse problems, termed LoFi (Local Field). Unlike conventional methods for image reconstruction, LoFi processes local information at each coordinate \textit{separately} by multi-layer perceptrons (MLPs), recovering the object at that specific coordinate. Similar to INRs, LoFi can recover images at any continuous coordinate, enabling image reconstruction at multiple resolutions. With comparable or better performance than standard CNNs for image reconstruction, LoFi achieves excellent generalization to out-of-distribution data and memory usage almost independent of image resolution. Remarkably, training on $1024 \times 1024$ images requires just 3GB of memory — over 20 times less than the memory typically needed by standard CNNs. Additionally, LoFi’s local design allows it to train on extremely small datasets with less than 10 samples, without overfitting or the need for regularization or early stopping. Finally, we use LoFi as a denoising prior in a plug-and-play framework for solving general inverse problems to benefit from its continuous image representation and strong generalization. Although trained on low-resolution images, LoFi can be used as a low-dimensional prior to solve inverse problems at any resolution. We validate our framework across a variety of imaging modalities, from low-dose computed tomography to radio interferometric imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google