Enhancing Molecular Property Prediction with Auxiliary Learning and Task-Specific Adaptation

要約

事前学習済みグラフ ニューラル ネットワークは、さまざまな分子特性予測タスクに広く採用されています。
分子の構造的および関係的特徴をエンコードする能力にもかかわらず、このような事前学習済み GNN をターゲット タスクで従来の微調整すると、一般化が不十分になる可能性があります。
これに対処するために、事前トレーニング済み GNN を複数の補助タスクで共同トレーニングすることで、ターゲット タスクに適応させる方法を検討します。
これにより、GNN は一般的な機能とタスク固有の機能の両方を学習できるようになり、ターゲット タスクに利益をもたらす可能性があります。
ただし、大きな課題は、補助タスクとターゲット タスクの関連性を判断することです。
これに対処するために、補助タスクの関連性を測定し、タスク勾配を適応的に組み合わせたり、2 レベル最適化によってタスクの重みを学習したりすることで、補助タスクを統合するための複数の戦略を調査します。
さらに、我々は、回転を通じて矛盾する補助タスクの勾配を調整することを学習する、新しい勾配手術ベースのアプローチ、競合する勾配の回転 ($\mathtt{RCGrad}$) を提案します。
最先端の事前トレーニング済み GNN を使用した実験では、微調整に対して最大 7.7% の改善が見られ、提案された方法の有効性が実証されました。
これは、ターゲット タスクの微調整とともに補助タスクを組み込むことが、分子特性予測のための事前学習済み GNN の一般化可能性を向上させる効果的な方法である可能性があることを示唆しています。

要約(オリジナル)

Pretrained Graph Neural Networks have been widely adopted for various molecular property prediction tasks. Despite their ability to encode structural and relational features of molecules, traditional fine-tuning of such pretrained GNNs on the target task can lead to poor generalization. To address this, we explore the adaptation of pretrained GNNs to the target task by jointly training them with multiple auxiliary tasks. This could enable the GNNs to learn both general and task-specific features, which may benefit the target task. However, a major challenge is to determine the relatedness of auxiliary tasks with the target task. To address this, we investigate multiple strategies to measure the relevance of auxiliary tasks and integrate such tasks by adaptively combining task gradients or by learning task weights via bi-level optimization. Additionally, we propose a novel gradient surgery-based approach, Rotation of Conflicting Gradients ($\mathtt{RCGrad}$), that learns to align conflicting auxiliary task gradients through rotation. Our experiments with state-of-the-art pretrained GNNs demonstrate the efficacy of our proposed methods, with improvements of up to 7.7% over fine-tuning. This suggests that incorporating auxiliary tasks along with target task fine-tuning can be an effective way to improve the generalizability of pretrained GNNs for molecular property prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google