Data-Juicer Sandbox: A Comprehensive Suite for Multimodal Data-Model Co-development

要約

大規模なマルチモーダル生成モデルの出現により、人工知能は大幅に進歩し、前例のないレベルのパフォーマンスと機能が導入されました。
ただし、これらのモデルの最適化は、モデル中心とデータ中心の開発の歴史的に孤立したパスが原因で依然として困難であり、次善の結果と非効率的なリソース利用につながります。
これに応えて、統合されたデータモデルの共同開発向けに調整された新しいサンドボックス スイートを紹介します。
このサンドボックスは包括的な実験プラットフォームを提供し、データとモデルの両方の迅速な反復と洞察に基づく改良を可能にします。
私たちが提案する「プローブ、分析、リファイン」ワークフローは、最先端の LLaVA 系および DiT ベースのモデルのアプリケーションを通じて検証され、VBench リーダーボードでトップになるなど、大幅なパフォーマンス向上をもたらします。
また、徹底的なベンチマークから収集した有益な洞察を明らかにし、データの品質、多様性、モデルの動作の間の重要な相互作用に光を当てます。
マルチモーダル データと生成モデリングにおけるより深い理解と将来の進歩を促進することを期待して、コード、データセット、モデルは https://github.com/modelscope/data-juicer/blob/main/docs で維持され、アクセスできます。
/サンドボックス.md.

要約(オリジナル)

The emergence of large-scale multi-modal generative models has drastically advanced artificial intelligence, introducing unprecedented levels of performance and functionality. However, optimizing these models remains challenging due to historically isolated paths of model-centric and data-centric developments, leading to suboptimal outcomes and inefficient resource utilization. In response, we present a novel sandbox suite tailored for integrated data-model co-development. This sandbox provides a comprehensive experimental platform, enabling rapid iteration and insight-driven refinement of both data and models. Our proposed ‘Probe-Analyze-Refine’ workflow, validated through applications on state-of-the-art LLaVA-like and DiT based models, yields significant performance boosts, such as topping the VBench leaderboard. We also uncover fruitful insights gleaned from exhaustive benchmarks, shedding light on the critical interplay between data quality, diversity, and model behavior. With the hope of fostering deeper understanding and future progress in multi-modal data and generative modeling, our codes, datasets, and models are maintained and accessible at https://github.com/modelscope/data-juicer/blob/main/docs/Sandbox.md.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google