Low-Rank Adaptation of Neural Fields

要約

視覚データの処理には、多くの場合、画像フィルタリング、表面の平滑化、ビデオストレージなど、小さな調整または一連の変更が含まれます。
通常のマッピングやビデオ圧縮などの確立されたグラフィック技術は、このような小さな変化を効率的にエンコードするために冗長性を活用しますが、神経フィールド（NF）の小さな変化をエンコードする問題 – 視覚的または物理的機能のニューラルネットワークパラメーター化 – はあまり注目されていません。
低ランク適応（LORA）を使用して、神経フィールドを更新するためのパラメーター効率の高い戦略を提案します。
パラメーター効率の高い微調整LLMコミュニティのメソッドであるLoraは、最小限の計算オーバーヘッドで事前に訓練されたモデルへの小さな更新をエンコードします。
LORAをインスタンス固有のニューラルフィールドに適応させ、低計量ハードウェアに適したパイプラインを生成する大規模な訓練モデルの必要性を回避します。
画像フィルタリング、ビデオ圧縮、ジオメトリの編集での実験でアプローチを検証し、神経フィールドの更新を表すための有効性と汎用性を実証します。

要約(オリジナル)

Processing visual data often involves small adjustments or sequences of changes, such as in image filtering, surface smoothing, and video storage. While established graphics techniques like normal mapping and video compression exploit redundancy to encode such small changes efficiently, the problem of encoding small changes to neural fields (NF) — neural network parameterizations of visual or physical functions — has received less attention. We propose a parameter-efficient strategy for updating neural fields using low-rank adaptations (LoRA). LoRA, a method from the parameter-efficient fine-tuning LLM community, encodes small updates to pre-trained models with minimal computational overhead. We adapt LoRA to instance-specific neural fields, avoiding the need for large pre-trained models yielding a pipeline suitable for low-compute hardware. We validate our approach with experiments in image filtering, video compression, and geometry editing, demonstrating its effectiveness and versatility for representing neural field updates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google