Complexity Experts are Task-Discriminative Learners for Any Image Restoration

要約

オールインワン画像修復モデルの最近の進歩により、統一されたフレームワークを通じて多様な分解に対処する能力に革命をもたらしました。
ただし、特定のタスクに結び付けられたパラメーターは、他のタスクに対して非アクティブなままであり、エンサリ（MOE）の混合物を自然な拡張機能にします。
それにもかかわらず、Moesはしばしば一貫性のない行動を示し、一部の専門家は予期せずタスクを一般的に一般化しますが、他の専門家は意図した範囲内で苦労しています。
これは、推論中に無関係な専門家をバイパスすることにより、Moesの計算上の利点を活用することを妨げます。
この望ましくない行動は、伝統的なoesの均一で厳格なアーキテクチャに帰します。
これに対処するために、「複雑さの専門家」を紹介します。これは、さまざまな計算の複雑さと受容フィールドを備えた柔軟な専門家ブロックです。
劣化の複雑さは事前に不明であるため、重要な課題は各専門家にタスクを割り当てることです。
したがって、複雑さの低下に向けて単純なバイアスでタスクを実行します。
驚いたことに、この好みはタスク固有の割り当てを効果的に推進し、適切な複雑さで専門家にタスクを割り当てます。
広範な実験は、私たちのアプローチを検証し、優れたパフォーマンスを維持しながら、推論中に無関係な専門家をバイパスする能力を実証します。
提案されているMOCE-IRモデルは、最先端の方法よりも優れており、その効率と実用的な適用性を確認します。
ソースコードとモデルは、\ href {https://eduardzamfir.github.io/moceir/}で公開されています。

要約(オリジナル)

Recent advancements in all-in-one image restoration models have revolutionized the ability to address diverse degradations through a unified framework. However, parameters tied to specific tasks often remain inactive for other tasks, making mixture-of-experts (MoE) architectures a natural extension. Despite this, MoEs often show inconsistent behavior, with some experts unexpectedly generalizing across tasks while others struggle within their intended scope. This hinders leveraging MoEs’ computational benefits by bypassing irrelevant experts during inference. We attribute this undesired behavior to the uniform and rigid architecture of traditional MoEs. To address this, we introduce “complexity experts’ — flexible expert blocks with varying computational complexity and receptive fields. A key challenge is assigning tasks to each expert, as degradation complexity is unknown in advance. Thus, we execute tasks with a simple bias toward lower complexity. To our surprise, this preference effectively drives task-specific allocation, assigning tasks to experts with the appropriate complexity. Extensive experiments validate our approach, demonstrating the ability to bypass irrelevant experts during inference while maintaining superior performance. The proposed MoCE-IR model outperforms state-of-the-art methods, affirming its efficiency and practical applicability. The source code and models are publicly available at \href{https://eduardzamfir.github.io/moceir/}{\texttt{eduardzamfir.github.io/MoCE-IR/}}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google