Visual Agents as Fast and Slow Thinkers

要約

人間レベルの知能を達成するには、システム 1 思考とシステム 2 思考の認知的区別を洗練する必要があります。
大規模な言語モデルによって駆動される現代の AI は、人間に似た特性を示していますが、真の認識には至っていません。
構造化されたベンチマークから現実世界のシナリオへの移行は、視覚エージェントにとって課題となり、多くの場合、不正確で自信過剰な応答につながります。
この課題に対処するために、高速思考と低速思考のメカニズムをビジュアル エージェントに組み込んだ FaST を導入します。
FaST は、スイッチ アダプターを使用してシステム 1/2 モードを動的に選択し、さまざまなタスクの複雑さに合わせて問題解決アプローチを調整します。
モデルの信頼性を調整し、新しいコンテキスト データを統合することで、不確実で目に見えないオブジェクトに取り組みます。
この斬新なデザインにより、私たちは柔軟なシステム、階層的推論機能、透明性のある意思決定パイプラインを提唱しており、これらすべてが視覚知能における人間のような認知プロセスをエミュレートする能力に貢献しています。
実証結果は、FaST がさまざまなよく知られたベースラインを上回るパフォーマンスを示し、視覚的な質問応答では VQA^{v2} に対して 80.8% の精度を達成し、推論セグメンテーションでは ReasonSeg に対して 48.7% の GIoU スコアを達成し、FaST の優れたパフォーマンスを示しています。
広範なテストにより、FaST のコア コンポーネントの有効性と堅牢性が検証され、AI システムにおける認知視覚エージェントの開発を前進させる可能性が示されました。

要約(オリジナル)

Achieving human-level intelligence requires refining cognitive distinctions between System 1 and System 2 thinking. While contemporary AI, driven by large language models, demonstrates human-like traits, it falls short of genuine cognition. Transitioning from structured benchmarks to real-world scenarios presents challenges for visual agents, often leading to inaccurate and overly confident responses. To address the challenge, we introduce FaST, which incorporates the Fast and Slow Thinking mechanism into visual agents. FaST employs a switch adapter to dynamically select between System 1/2 modes, tailoring the problem-solving approach to different task complexity. It tackles uncertain and unseen objects by adjusting model confidence and integrating new contextual data. With this novel design, we advocate a flexible system, hierarchical reasoning capabilities, and a transparent decision-making pipeline, all of which contribute to its ability to emulate human-like cognitive processes in visual intelligence. Empirical results demonstrate that FaST outperforms various well-known baselines, achieving 80.8% accuracy over VQA^{v2} for visual question answering and 48.7% GIoU score over ReasonSeg for reasoning segmentation, demonstrate FaST’s superior performance. Extensive testing validates the efficacy and robustness of FaST’s core components, showcasing its potential to advance the development of cognitive visual agents in AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google