Complexity Experts are Task-Discriminative Learners for Any Image Restoration

要約

オールインワン画像復元モデルの最近の進歩により、統一されたフレームワークを通じてさまざまな劣化に対処する能力に革命が起きました。
ただし、特定のタスクに関連付けられたパラメータは他のタスクに対して非アクティブなままになることが多く、専門家混合 (MoE) アーキテクチャが自然な拡張になります。
それにもかかわらず、教育省は一貫性のない行動を示すことが多く、一部の専門家は予想外にタスク全体を一般化する一方で、他の専門家は意図した範囲内で苦労することがあります。
これは、推論中に無関係な専門家をバイパスすることにより、環境省の計算上の利点を活用することを妨げます。
この望ましくない動作は、従来の MoE の均一で厳格なアーキテクチャが原因であると考えられます。
これに対処するために、「複雑さのエキスパート」、つまりさまざまな計算複雑さと受容領域を備えた柔軟なエキスパート ブロックを導入します。
劣化の複雑さは事前に不明であるため、主な課題は各専門家にタスクを割り当てることです。
したがって、複雑さの低い単純なバイアスをかけてタスクを実行します。
驚いたことに、この設定によりタスク固有の割り当てが効果的に推進され、適切な複雑さを持つエキスパートにタスクが割り当てられます。
広範な実験により私たちのアプローチが検証され、優れたパフォーマンスを維持しながら推論中に無関係な専門家を回避できることが実証されました。
提案された MoCE-IR モデルは最先端の手法を上回っており、その効率性と実用性が確認されています。
ソースは \href{https://eduardzamfir.github.io/moceir/}{\texttt{eduardzamfir.github.io/MoCE-IR/}} で公開されます。

要約(オリジナル)

Recent advancements in all-in-one image restoration models have revolutionized the ability to address diverse degradations through a unified framework. However, parameters tied to specific tasks often remain inactive for other tasks, making mixture-of-experts (MoE) architectures a natural extension. Despite this, MoEs often show inconsistent behavior, with some experts unexpectedly generalizing across tasks while others struggle within their intended scope. This hinders leveraging MoEs’ computational benefits by bypassing irrelevant experts during inference. We attribute this undesired behavior to the uniform and rigid architecture of traditional MoEs. To address this, we introduce “complexity experts’ — flexible expert blocks with varying computational complexity and receptive fields. A key challenge is assigning tasks to each expert, as degradation complexity is unknown in advance. Thus, we execute tasks with a simple bias toward lower complexity. To our surprise, this preference effectively drives task-specific allocation, assigning tasks to experts with the appropriate complexity. Extensive experiments validate our approach, demonstrating the ability to bypass irrelevant experts during inference while maintaining superior performance. The proposed MoCE-IR model outperforms state-of-the-art methods, affirming its efficiency and practical applicability. The source will be publicly made available at \href{https://eduardzamfir.github.io/moceir/}{\texttt{eduardzamfir.github.io/MoCE-IR/}}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google