UViM: A Unified Modeling Approach for Vision with Learned Guiding Codes

要約

UViM は、幅広いコンピューター ビジョン タスクをモデル化できる統合アプローチです。
以前のモデルとは対照的に、UViM はすべてのタスクに対して同じ機能形式を持っています。
広範な人間の専門知識を必要とするタスク固有の変更は必要ありません。
このアプローチには 2 つのコンポーネントが含まれます。(I) 学習した離散コードによってガイドされる生のビジョン出力を直接予測するようにトレーニングされた基本モデル (フィードフォワード)、および (II) ガイドを生成するようにトレーニングされた言語モデル (自己回帰)
コード。
これらのコンポーネントは互いに補完し合います。言語モデルは構造化された相互依存データのモデリングに適していますが、基本モデルは高次元の出力を効率的に処理できます。
パノプティック セグメンテーション、深度予測、画像の色付けという 3 つの多様で挑戦的なビジョン タスクに対する UViM の有効性を実証し、競争力のある最先端の結果を達成します。
私たちの実験結果は、UViM がコンピューター ビジョンにおける統合モデリング アプローチの有望な候補であることを示唆しています。

要約(オリジナル)

We introduce UViM, a unified approach capable of modeling a wide range of computer vision tasks. In contrast to previous models, UViM has the same functional form for all tasks; it requires no task-specific modifications which require extensive human expertise. The approach involves two components: (I) a base model (feed-forward) which is trained to directly predict raw vision outputs, guided by a learned discrete code and (II) a language model (autoregressive) that is trained to generate the guiding code. These components complement each other: the language model is well-suited to modeling structured interdependent data, while the base model is efficient at dealing with high-dimensional outputs. We demonstrate the effectiveness of UViM on three diverse and challenging vision tasks: panoptic segmentation, depth prediction and image colorization, where we achieve competitive and near state-of-the-art results. Our experimental results suggest that UViM is a promising candidate for a unified modeling approach in computer vision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google