Model Steering: Learning with a Reference Model Improves Generalization Bounds and Scaling Laws

要約

この論文は、$ \ textBf {Model Steering} $という名前の戦略的データ選択または重み付けを通じて、ターゲットモデルのトレーニングをガイドおよび強化するための参照として訓練されたモデルを使用する新たな学習パラダイムを形式化します。
大規模な基礎モデルのトレーニングなど、さまざまなコンテキストでアドホック方法が使用されていますが、その根本的な原則は十分に理解されていないままであり、最適なパフォーマンスにつながります。
この作業では、$ \ textbf {drrhoリスク最小化} $と呼ばれるモデルステアリングの理論主導のフレームワークを提案します。
一般化分析を通じて、このアプローチが参照モデルなしでトレーニングと比較して一般化とデータの効率を改善する理由についての理論的洞察を提供します。
私たちの知る限り、このような理論的洞察が新しい学習パラダイムに対して提供されるのはこれが初めてであり、モデルステアリングの理解と実践を大幅に向上させます。
これらの洞察と対照学習とDROの関係に基づいて、DRRHO-Clipと呼ばれる参照モデルを使用して、対照的な言語イメージ前登録（CLIP）の新しい方法を紹介します。
広範な実験は、理論的洞察を検証し、参照モデルのないクリップと比較して優れたスケーリング法を明らかにし、既存のヒューリスティックアプローチに対するその強さを示します。

要約(オリジナル)

This paper formalizes an emerging learning paradigm that uses a trained model as a reference to guide and enhance the training of a target model through strategic data selection or weighting, named $\textbf{model steering}$. While ad-hoc methods have been used in various contexts, including the training of large foundation models, its underlying principles remain insufficiently understood, leading to sub-optimal performance. In this work, we propose a theory-driven framework for model steering called $\textbf{DRRho risk minimization}$, which is rooted in Distributionally Robust Optimization (DRO). Through a generalization analysis, we provide theoretical insights into why this approach improves generalization and data efficiency compared to training without a reference model. To the best of our knowledge, this is the first time such theoretical insights are provided for the new learning paradigm, which significantly enhance our understanding and practice of model steering. Building on these insights and the connection between contrastive learning and DRO, we introduce a novel method for Contrastive Language-Image Pretraining (CLIP) with a reference model, termed DRRho-CLIP. Extensive experiments validate the theoretical insights, reveal a superior scaling law compared to CLIP without a reference model, and demonstrate its strength over existing heuristic approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google