PixelWorld: Towards Perceiving Everything as Pixels

要約

既存の基礎モデルは通常、視覚入力をピクセルとして、テキスト入力をトークンとして処理します。これは、両方のモダリティが統一された方法で処理される人間の知覚とは対照的なパラダイムです。
入力が主にカメラのピクセルから来る具体化されたエージェントAIの上昇により、統一された知覚フレームワークの必要性がますます明らかになります。
この論文では、すべてのモダリティ（テキスト、テーブル、コード、図、画像など）をピクセル入力として統一することを提案します。つまり、「すべてをピクセルとして認識してください」（PEAP）。
既存のモデルのパフォーマンスを測定するために、上記のすべてのモダリティをピクセル空間に統合する新しい評価スイートであるPixelWorldを紹介します。
私たちの調査結果は、（1）PEAPがマルチモーダルデータセットでトークンベースの入力でベースラインを上回ることを示しています。
基礎モデルの知覚能力を強化するために、（3）より大きなモデルはPEAPの下での非合理的なタスクの強力なパフォーマンスを維持できますが、PHI-3.5-Vのような小さなモデルは重大な性能劣化を受けます。
テキストトークン入力を使用すると、（5）PEAPは、空間的スパース性を活用することで大幅に加速できます。
既存のフロンティアモデルはピクセル認識で有能であると結論付けていますが、改善のためのヘッドルームがまだあると結論付けています。
私たちのコード、データセットは受け入れたときにリリースされます。

要約(オリジナル)

Existing foundation models typically process visual input as pixels and textual input as tokens, a paradigm that contrasts with human perception, where both modalities are processed in a unified manner. With the rise of embodied and agentic AI, where inputs primarily come from camera pixels, the need for a unified perception framework becomes increasingly evident. In this paper, we propose to unify all modalities (text, tables, code, diagrams, images, etc) as pixel inputs, i.e. ‘Perceive Everything as Pixels’ (PEAP). We introduce PixelWorld, a novel evaluation suite that unifies all the mentioned modalities into pixel space to gauge the existing models’ performance. Our findings show that (1) PEAP outperforms baseline with token-based input in multimodal datasets, benefiting from unified input for better disambiguation, (2) significant declines in reasoning and coding capabilities across all models when processing pixel-based input, underscoring the need to enhance foundation models’ perceptual abilities, (3) larger models can maintain strong performance on non-reasoning tasks under PEAP, while smaller models like Phi-3.5-V suffer significant performance degradation, (4) the attention pattern of PEAP is highly aligned with text token input, (5) PEAP can be accelerated significantly by exploiting the spatial sparsity. We conclude that the existing frontier models are competent in pixel perception, however, there is still headroom for improvement. Our code, dataset will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google