Towards Physics-Guided Foundation Models

要約

従来の基礎モデルは、幅広いダウンストリームタスクを微調整するために必要なトレーニングリソース（時間、エネルギー、ラベル付きサンプルなど）を削減するために、幅広いデータセットで事前に訓練されています。
ただし、従来の基礎モデルは、分散除外予測と格闘しており、非現実的で身体的に実行不可能な出力を生成できます。
物理誘導基礎モデル（PGFM）の表記法、つまり、広範囲または一般的なドメイン（例えば、科学的）の物理的知識と統合された基礎モデルの表記法を提案します。

要約(オリジナル)

Traditional foundation models are pre-trained on broad datasets to reduce the training resources (e.g., time, energy, labeled samples) needed for fine-tuning a wide range of downstream tasks. However, traditional foundation models struggle with out-of-distribution prediction and can produce outputs that are unrealistic and physically infeasible. We propose the notation of physics-guided foundation models (PGFM), that is, foundation models integrated with broad or general domain (e.g., scientific) physical knowledge applicable to a wide range of downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google