Knowledge-Aware Parsimony Learning: A Perspective from Relational Graphs

要約

スケーリング則は、トレーニング データセットと学習可能なパラメータの強引な拡張を伴い、より堅牢な学習モデルを開発するための一般的な戦略となっています。
しかし、データ、計算、信頼におけるボトルネックにより、スケーリング則の持続可能性はディープラーニングの将来にとって深刻な懸念事項となっています。
この論文では、倹約的な方法で次世代モデルを開発する (つまり、より単純なモデルでより大きな可能性を実現する) ことで、この問題に対処します。
重要なのは、スケーリング則に依存するのではなく、シンボル、ロジック、数式などのドメイン固有の知識を使用してモデルを駆動することです。
このアプローチにより、この知識を「構成要素」として使用して、モデルの設計、トレーニング、解釈の節約を実現するフレームワークを構築できます。
経験的な結果は、私たちの方法がスケーリング則に通常従う方法を上回っていることを示しています。
また、科学用 AI、特に薬物間相互作用予測の問題におけるフレームワークの応用も実証します。
私たちの研究が、基礎モデルの時代におけるより多様な技術ロードマップを促進できることを願っています。

要約(オリジナル)

The scaling law, which involves the brute-force expansion of training datasets and learnable parameters, has become a prevalent strategy for developing more robust learning models. However, due to bottlenecks in data, computation, and trust, the sustainability of the scaling law is a serious concern for the future of deep learning. In this paper, we address this issue by developing next-generation models in a parsimonious manner (i.e., achieving greater potential with simpler models). The key is to drive models using domain-specific knowledge, such as symbols, logic, and formulas, instead of relying on the scaling law. This approach allows us to build a framework that uses this knowledge as ‘building blocks’ to achieve parsimony in model design, training, and interpretation. Empirical results show that our methods surpass those that typically follow the scaling law. We also demonstrate the application of our framework in AI for science, specifically in the problem of drug-drug interaction prediction. We hope our research can foster more diverse technical roadmaps in the era of foundation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google