Finding Visual Task Vectors

要約

視覚的なプロンプトは、追加のトレーニングを行わずに、コンテキスト内の例を通じて視覚的なタスクを実行するようにモデルを教育するための手法です。
この研究では、最近のビジュアル プロンプティング モデルである MAE-VQGAN のアクティベーションを分析し、タスク固有の情報をエンコードするアクティベーションであるタスク ベクトルを見つけます。
この洞察を備えて、入出力の例を提供することなく、タスク ベクトルを特定し、それを使用してネットワークをさまざまなタスクの実行に導くことができることを実証します。
タスク ベクトルを見つけるには、タスクごとの平均中間アクティベーションを計算し、REINFORCE アルゴリズムを使用してタスク ベクトルのサブセットを検索します。
結果として得られるタスク ベクトルは、入出力例を必要とせずに、元のモデルよりも優れたタスクを実行できるようにモデルを導きます。

要約(オリジナル)

Visual Prompting is a technique for teaching models to perform a visual task via in-context examples, without any additional training. In this work, we analyze the activations of MAE-VQGAN, a recent Visual Prompting model, and find task vectors, activations that encode task-specific information. Equipped with this insight, we demonstrate that it is possible to identify the task vectors and use them to guide the network towards performing different tasks without providing any input-output examples. To find task vectors, we compute the average intermediate activations per task and use the REINFORCE algorithm to search for the subset of task vectors. The resulting task vectors guide the model towards performing a task better than the original model without the need for input-output examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google