Yo’LLaVA: Your Personalized Language and Vision Assistant

要約

大規模マルチモーダルモデル(LMM)は、様々なタスク(例：画像キャプション、視覚的質問応答)において顕著な能力を示してきた。LMMの知識は広範であるが、一般的であり（例：犬の認識）、パーソナライズされた対象（例：ユーザのペットの犬の認識）を扱うことはできない。これとは対照的に、人間の推論は通常、身の回りにある特定の対象の文脈の中で動作する。例えば、「犬の誕生日には何を買うべきか」という一般的な質問とは対照的に、「犬の誕生日には何を買うべきか」と尋ねるかもしれない。同様に、友人の画像を見るとき、単に一般的な人間の行動（例えば、「男が猫を抱いている」）を観察するのではなく、彼らの行動（例えば、「友人が猫を抱いている」）を見ることに関心がある。本論文では、LMMをパーソナライズし、特定の話題について会話できるようにするという新しいタスクを紹介する。Yo’LLaVAを提案する。Yo’LLaVAは、パーソナライズされた被写体を、その被写体の一握りの例画像が与えられた潜在トークンの集合に埋め込むことを学習する。我々の定性的・定量的分析により、Yo’LLaVAは、強いプロンプトのベースライン（例えばLLaVA）と比較して、より少ないトークンを用いてより効率的に概念を学習し、より効果的に視覚属性を符号化できることが明らかになった。

要約(オリジナル)

Large Multimodal Models (LMMs) have shown remarkable capabilities across a variety of tasks (e.g., image captioning, visual question answering). While broad, their knowledge remains generic (e.g., recognizing a dog), and they are unable to handle personalized subjects (e.g., recognizing a user’s pet dog). Human reasoning, in contrast, typically operates within the context of specific subjects in our surroundings. For example, one might ask, ‘What should I buy for my dog’s birthday?’; as opposed to a generic inquiry about ‘What should I buy for a dog’s birthday?’. Similarly, when looking at a friend’s image, the interest lies in seeing their activities (e.g., ‘my friend is holding a cat’), rather than merely observing generic human actions (e.g., ‘a man is holding a cat’). In this paper, we introduce the novel task of personalizing LMMs, so that they can have conversations about a specific subject. We propose Yo’LLaVA, which learns to embed a personalized subject into a set of latent tokens given a handful of example images of the subject. Our qualitative and quantitative analyses reveal that Yo’LLaVA can learn the concept more efficiently using fewer tokens and more effectively encode the visual attributes compared to strong prompting baselines (e.g., LLaVA).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL