Multi-Agent Image Restoration

要約

画像修復（IR）は、実際の劣化の複雑さのために困難です。
多くの専門的でオールインワンのIRモデルが開発されていますが、複雑で混合分解を効果的に処理することができません。
最近のエージェントメソッドの回復的およびエージェントメソッドは、この問題を軽減するためにインテリジェントで自律的なワークフローを活用していますが、リソース集約的な微調整と、満足のいく成果のための効果的な検索とツール実行トライアルによる非効率性に苦しんでいます。
この論文では、複雑なIR問題のための新しいマルチエージェントアプローチであるMairを提案します。
（1）シーン、（2）イメージング、および（3）圧縮の3つのタイプに分類され、現実世界で順番に発生することが観察され、反対の順序でそれらを逆転させる3つのタイプに分類され、実際の劣化を導入します。
この3段階の修復フレームワークの上に構築されたMairは、全体的な計画の「スケジューラ」や特定の劣化に専念する複数の「専門家」を含む、共同の人間の専門家のチームをエミュレートします。
この設計により、検索スペースと試行の取り組みが最小限に抑えられ、画質が向上し、推論コストが削減されます。
さらに、新しいツールの簡単な統合を可能にするために、レジストリメカニズムが導入されています。
合成データセットと現実世界の両方のデータセットの両方での実験は、提案されたMAIRが以前のエージェントIRシステムで競争力のあるパフォーマンスと効率を向上させることを示しています。
コードとモデルが利用可能になります。

要約(オリジナル)

Image restoration (IR) is challenging due to the complexity of real-world degradations. While many specialized and all-in-one IR models have been developed, they fail to effectively handle complex, mixed degradations. Recent agentic methods RestoreAgent and AgenticIR leverage intelligent, autonomous workflows to alleviate this issue, yet they suffer from suboptimal results and inefficiency due to their resource-intensive finetunings, and ineffective searches and tool execution trials for satisfactory outputs. In this paper, we propose MAIR, a novel Multi-Agent approach for complex IR problems. We introduce a real-world degradation prior, categorizing degradations into three types: (1) scene, (2) imaging, and (3) compression, which are observed to occur sequentially in real world, and reverse them in the opposite order. Built upon this three-stage restoration framework, MAIR emulates a team of collaborative human specialists, including a ‘scheduler’ for overall planning and multiple ‘experts’ dedicated to specific degradations. This design minimizes search space and trial efforts, improving image quality while reducing inference costs. In addition, a registry mechanism is introduced to enable easy integration of new tools. Experiments on both synthetic and real-world datasets show that proposed MAIR achieves competitive performance and improved efficiency over the previous agentic IR system. Code and models will be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google