PaliGemma: A versatile 3B VLM for transfer

要約

PaliGemma は、SigLIP-So400m ビジョン エンコーダと Gemma-2B 言語モデルに基づくオープン ビジョン言語モデル (VLM) です。
これは、効果的に転送できる多用途で幅広い知識を備えた基本モデルとなるようにトレーニングされています。
オープンワールドのさまざまなタスクで強力なパフォーマンスを実現します。
私たちは、標準的な VLM ベンチマークだけでなく、リモート センシングやセグメンテーションなどのより特殊なタスクを含む、約 40 の多様なタスクに関して PaliGemma を評価しています。

要約(オリジナル)

PaliGemma is an open Vision-Language Model (VLM) that is based on the SigLIP-So400m vision encoder and the Gemma-2B language model. It is trained to be a versatile and broadly knowledgeable base model that is effective to transfer. It achieves strong performance on a wide variety of open-world tasks. We evaluate PaliGemma on almost 40 diverse tasks including standard VLM benchmarks, but also more specialized tasks such as remote-sensing and segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google