Refining embeddings with fill-tuning: data-efficient generalised performance improvements for materials foundation models

要約

前処理された基礎モデルは、幅広いダウンストリームタスクに使用できる埋め込みを学びます。
これらの埋め込みは一般的なパフォーマンスを最適化し、特定のタスクで不十分に正確な場合は、パフォーマンスを改善するためにモデルを微調整できます。
現在のすべての方法論について、この操作は、すべての分散式タスクのパフォーマンスを必然的に分解します。
この作業では、特定の下流タスクに適していないが、埋め込みの貧しい領域を修正することを目指している基礎モデルの継続的な事前供与のためのデータセットを生成するための新しい方法論である「Fill-Tuning」を提示します。
粗さ分析の適用を潜在宇宙のトポロジーに提示し、埋め込みの改善に最も価値のあるデータを提案するためにそれを使用する方法を示します。
$ o（10^9）$ data Pointsでトレーニングされた一連の最先端の材料ファンデーションモデルに塗りつぶしを適用し、すべてのダウンストリームタスクでほぼ1％のモデルの改善を示し、100個のデータを追加してください。
ポイント。
この方法は、微調整の計算コストでの基礎モデルの一般的な改善へのルートを提供します。

要約(オリジナル)

Pretrained foundation models learn embeddings that can be used for a wide range of downstream tasks. These embeddings optimise general performance, and if insufficiently accurate at a specific task the model can be fine-tuned to improve performance. For all current methodologies this operation necessarily degrades performance on all out-of-distribution tasks. In this work we present ‘fill-tuning’, a novel methodology to generate datasets for continued pretraining of foundation models that are not suited to a particular downstream task, but instead aim to correct poor regions of the embedding. We present the application of roughness analysis to latent space topologies and illustrate how it can be used to propose data that will be most valuable to improving the embedding. We apply fill-tuning to a set of state-of-the-art materials foundation models trained on $O(10^9)$ data points and show model improvement of almost 1% in all downstream tasks with the addition of only 100 data points. This method provides a route to the general improvement of foundation models at the computational cost of fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google