GIMLET: A Unified Graph-Text Model for Instruction-Based Molecule Zero-Shot Learning

要約

分子の物性予測は近年大きな注目を集めています。
主なボトルネックは、高価な実験室での実験によって引き起こされるラベルの不足です。
この問題を軽減し、テキストの知識をタスクにさらに活用するために、この研究では、ゼロショット設定で分子関連のタスクを達成するために自然言語命令を採用する実現可能性を調査します。
既存の分子テキストモデルは、命令の処理が不適切であり、グラフの容量が限られているため、この設定ではパフォーマンスが低いことがわかりました。
これらの問題を克服するために、グラフ データとテキスト データの両方の言語モデルを統合する GIMLET を提案します。
一般化された位置埋め込みを採用することにより、追加のグラフ エンコード モジュールを使用せずに、グラフ構造と命令テキストの両方をエンコードするようにモデルが拡張されました。
また、GIMLET は、アテンション メカニズムのタスク命令からグラフのエンコードを切り離し、新しいタスク全体にわたるグラフ機能の一般化を強化します。
私たちは、タスクの説明から派生した対応する指示を備えた 2,000 を超える分子タスクで構成されるデータセットを構築します。
指示とともに分子タスクに関して GIMLET を事前トレーニングし、モデルを広範囲のタスクに効果的に移行できるようにします。
実験結果は、GIMLET が命令ベースのゼロショット学習において分子テキストのベースラインを大幅に上回り、toxcast や muv などのタスクで教師あり GNN モデルに対してクローズドな結果を達成することを示しています。

要約(オリジナル)

Molecule property prediction has gained significant attention in recent years. The main bottleneck is the label insufficiency caused by expensive lab experiments. In order to alleviate this issue and to better leverage textual knowledge for tasks, this study investigates the feasibility of employing natural language instructions to accomplish molecule-related tasks in a zero-shot setting. We discover that existing molecule-text models perform poorly in this setting due to inadequate treatment of instructions and limited capacity for graphs. To overcome these issues, we propose GIMLET, which unifies language models for both graph and text data. By adopting generalized position embedding, our model is extended to encode both graph structures and instruction text without additional graph encoding modules. GIMLET also decouples encoding of the graph from tasks instructions in the attention mechanism, enhancing the generalization of graph features across novel tasks. We construct a dataset consisting of more than two thousand molecule tasks with corresponding instructions derived from task descriptions. We pretrain GIMLET on the molecule tasks along with instructions, enabling the model to transfer effectively to a broad range of tasks. Experimental results demonstrate that GIMLET significantly outperforms molecule-text baselines in instruction-based zero-shot learning, even achieving closed results to supervised GNN models on tasks such as toxcast and muv.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google