PACIA: Parameter-Efficient Adapter for Few-Shot Molecular Property Prediction

要約

分子特性予測 (MPP) は生物医学応用において重要な役割を果たしますが、ラベル付きデータの不足によりしばしば課題に直面します。
既存の研究では、タスク レベルの適応のために大量のパラメータを更新するために勾配ベースの戦略が一般的に採用されています。
ただし、適応パラメータを増やすと、過剰適合やパフォーマンスの低下につながる可能性があります。
グラフ ニューラル ネットワーク (GNN) がエンコーダーと予測子の両方として良好に機能することを観察し、少数ショット MPP 用のパラメーター効率の高い GNN アダプターである PACIA を提案します。
GNN のメッセージ受け渡しプロセスを調整するためのいくつかの適応パラメーターを生成する統合アダプターを設計します。
次に、統合 GNN アダプターによってタスク レベルでエンコーダーを適応させ、クエリ レベルで予測子を適応させる階層適応メカニズムを採用します。
広範な結果は、PACIAが少数ショットMPP問題で最先端のパフォーマンスを獲得し、私たちが提案した階層的適応メカニズムが合理的かつ効果的であることを示しています。

要約(オリジナル)

Molecular property prediction (MPP) plays a crucial role in biomedical applications, but it often encounters challenges due to a scarcity of labeled data. Existing works commonly adopt gradient-based strategy to update a large amount of parameters for task-level adaptation. However, the increase of adaptive parameters can lead to overfitting and poor performance. Observing that graph neural network (GNN) performs well as both encoder and predictor, we propose PACIA, a parameter-efficient GNN adapter for few-shot MPP. We design a unified adapter to generate a few adaptive parameters to modulate the message passing process of GNN. We then adopt a hierarchical adaptation mechanism to adapt the encoder at task-level and the predictor at query-level by the unified GNN adapter. Extensive results show that PACIA obtains the state-of-the-art performance in few-shot MPP problems, and our proposed hierarchical adaptation mechanism is rational and effective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google