A Strong Baseline for Molecular Few-Shot Learning

要約

少数のショット学習は最近、創薬に大きな関心を集めており、主に複雑なメタ学習戦略を含む最近の急速に成長している文献があります。
分子データのより簡単な微調整アプローチを再検討し、マハラノビス距離に基づいて正規化された二次プローブ損失を提案します。
私たちは、私たちの損失の退化したソリューションを避けるための専用のブロック座標オプティマイザーを設計します。
興味深いことに、当社のシンプルな微調整アプローチは、最先端の方法と比較して非常に競争力のあるパフォーマンスを実現し、ブラックボックスの設定に適用され、特定のエピソード前トレーニング戦略の必要性を削除します。
さらに、ドメインシフトに対する競合する方法の堅牢性を評価するための新しいベンチマークを導入します。
この設定では、微調整ベースラインでは、メタ学習方法よりも一貫して優れた結果が得られます。

要約(オリジナル)

Few-shot learning has recently attracted significant interest in drug discovery, with a recent, fast-growing literature mostly involving convoluted meta-learning strategies. We revisit the more straightforward fine-tuning approach for molecular data, and propose a regularized quadratic-probe loss based on the the Mahalanobis distance. We design a dedicated block-coordinate descent optimizer, which avoid the degenerate solutions of our loss. Interestingly, our simple fine-tuning approach achieves highly competitive performances in comparison to state-of-the-art methods, while being applicable to black-box settings and removing the need for specific episodic pre-training strategies. Furthermore, we introduce a new benchmark to assess the robustness of the competing methods to domain shifts. In this setting, our fine-tuning baseline obtains consistently better results than meta-learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google