Yo’LLaVA: Your Personalized Language and Vision Assistant

要約

大規模マルチモーダル モデル (LMM) は、さまざまなタスク (画像キャプション、視覚的な質問応答など) にわたって優れた機能を示しています。
彼らの知識は広範囲ではありますが、依然として一般的なもの (例: 犬の認識) であり、個人化された主題 (例: ユーザーのペットの犬の認識) を扱うことができません。
対照的に、人間の推論は通常、周囲の特定の主題のコンテキスト内で機能します。
たとえば、「犬の誕生日には何を買えばいいですか?」と尋ねるかもしれません。
「犬の誕生日には何を買えばいいですか?」という一般的な質問とは対照的です。
同様に、友人の画像を見るとき、一般的な人間の行動 (例: 「男性が猫を抱いている」) を観察するだけではなく、友人の活動 (例: 「私の友人は猫を抱いている」) を見ることに興味があります。
このペーパーでは、LMM が特定の主題について会話できるように、LMM をパーソナライズするという新しいタスクを紹介します。
私たちは Yo’LLaVA を提案します。これは、被写体のサンプル画像がいくつか与えられた場合に、パーソナライズされた被写体を潜在トークンのセットに埋め込むことを学習します。
私たちの定性的および定量的分析により、Yo’LLaVA は、強力なプロンプトベースライン (LLaVA など) と比較して、より少ないトークンを使用してより効率的に概念を学習し、視覚的属性をより効果的にエンコードできることが明らかになりました。

要約(オリジナル)

Large Multimodal Models (LMMs) have shown remarkable capabilities across a variety of tasks (e.g., image captioning, visual question answering). While broad, their knowledge remains generic (e.g., recognizing a dog), and they are unable to handle personalized subjects (e.g., recognizing a user’s pet dog). Human reasoning, in contrast, typically operates within the context of specific subjects in our surroundings. For example, one might ask, ‘What should I buy for my dog’s birthday?’; as opposed to a generic inquiry about ‘What should I buy for a dog’s birthday?’. Similarly, when looking at a friend’s image, the interest lies in seeing their activities (e.g., ‘my friend is holding a cat’), rather than merely observing generic human actions (e.g., ‘a man is holding a cat’). In this paper, we introduce the novel task of personalizing LMMs, so that they can have conversations about a specific subject. We propose Yo’LLaVA, which learns to embed a personalized subject into a set of latent tokens given a handful of example images of the subject. Our qualitative and quantitative analyses reveal that Yo’LLaVA can learn the concept more efficiently using fewer tokens and more effectively encode the visual attributes compared to strong prompting baselines (e.g., LLaVA).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google