Gradients: When Markets Meet Fine-tuning — A Distributed Approach to Model Optimisation

要約

基礎モデルの微調整は基本的な課題に直面しています：既存の自動車プラットフォームは、実行可能なハイパーパラメーター構成のほんの一部のみを探求する単一の最適化戦略に依存しています。
このホワイトペーパーでは、ハイパーパラメーターの最適化を独立した鉱山労働者が最適な構成を発見するために競争する競争力のある市場に変換する分散型の自動車プラットフォームである勾配を紹介します。
経済的インセンティブは、個々の探査を集合的な最適化の目標に合わせて整合し、メソッドを一元化したハイパーパラメーター領域の体系的な調査を逃します。
多様なモデルアーキテクチャ（70m〜70bパラメーター）とタスクタイプにまたがる180の制御された実験でアプローチを評価します。
グラデーションは、ハギングフェイスオートテレインに対して82.8 \％の勝率を達成し、100 \％はgooghting、databricks、およびgoogleクラウドに対して100％を達成し、それぞれ11.8 \％と42.1 \％の平均改善があります。
複雑な推論と検索タスクは、30-40 \％の特に強力な利益を示し、拡散モデルは人固有の生成の23.4 \％の改善を達成します。
これらの結果は、競争力のある経済的に主導のアプローチが、自動車を一貫して一貫して見逃した優れた構成を体系的に発見できることを示しています。

要約(オリジナル)

Foundation model fine-tuning faces a fundamental challenge: existing AutoML platforms rely on single optimisation strategies that explore only a fraction of viable hyperparameter configurations. In this white paper, We introduce Gradients, a decentralised AutoML platform that transforms hyperparameter optimisation into a competitive marketplace where independent miners compete to discover optimal configurations. Economic incentives align individual exploration with collective optimisation goals, driving systematic investigation of hyperparameter regions that centralised methods miss. We evaluate our approach across 180 controlled experiments spanning diverse model architectures (70M to 70B parameters) and task types. Gradients achieves an 82.8\% win rate against HuggingFace AutoTrain and 100\% against TogetherAI, Databricks, and Google Cloud, with mean improvements of 11.8\% and 42.1\% respectively. Complex reasoning and retrieval tasks show particularly strong gains of 30-40\%, whilst diffusion models achieve 23.4\% improvements for person-specific generation. These results demonstrate that competitive, economically-driven approaches can systematically discover superior configurations that centralised AutoML consistently miss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google