Adapting Pretrained ViTs with Convolution Injector for Visuo-Motor Control

要約

ビジョン トランスフォーマー (ViT) は、大規模な事前トレーニングと組み合わせると、主に弱い誘導バイアスにより、さまざまなコンピューター ビジョン タスクにわたって顕著なパフォーマンスを示しました。
ただし、このような弱い誘導バイアスは事前学習のスケーラビリティには役立ちますが、制御中心の誘導バイアスが存在しないため、視覚運動制御タスクへの ViT の効果的な適応が妨げられる可能性があります。
このような不在の帰納的バイアスには、畳み込みが自然に提供する空間的局所性と変換等分散バイアスが含まれます。
この目的を達成するために、視覚運動制御における効果的な適応のために、局所性と等分散バイアスが豊富な畳み込みを事前学習済み ViT に注入するアドオン モジュールである Convolution Injector (CoIn) を導入します。
3 つの異なるドメイン (Adroit、MetaWorld、DMC) 内の 12 のさまざまな制御タスクにわたって、3 つの異なるタイプの事前トレーニング済み ViT (CLIP、MVP、VC-1) を使用して CoIn を評価し、CoIn がすべての実験環境で制御タスクのパフォーマンスを一貫して向上させることを実証します。
モデルを検証し、コントロール中心のバイアスを備えた事前トレーニング済み ViT を提供する有効性を検証します。

要約(オリジナル)

Vision Transformers (ViT), when paired with large-scale pretraining, have shown remarkable performance across various computer vision tasks, primarily due to their weak inductive bias. However, while such weak inductive bias aids in pretraining scalability, this may hinder the effective adaptation of ViTs for visuo-motor control tasks as a result of the absence of control-centric inductive biases. Such absent inductive biases include spatial locality and translation equivariance bias which convolutions naturally offer. To this end, we introduce Convolution Injector (CoIn), an add-on module that injects convolutions which are rich in locality and equivariance biases into a pretrained ViT for effective adaptation in visuo-motor control. We evaluate CoIn with three distinct types of pretrained ViTs (CLIP, MVP, VC-1) across 12 varied control tasks within three separate domains (Adroit, MetaWorld, DMC), and demonstrate that CoIn consistently enhances control task performance across all experimented environments and models, validating the effectiveness of providing pretrained ViTs with control-centric biases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google