Explainability Techniques for Chemical Language Models

要約

説明可能性テクニックは、化学言語モデルにはまだ適用されていない深層学習モデルの予測の背後にある理由についての洞察を得るために重要です。
私たちは、これらのモデルによって行われる予測に対して個々の原子の重要性を考慮する、説明可能な AI 手法を提案します。
私たちのメソッドは、化学入力文字列に関連性情報を逆伝播し、個々の原子の重要性を視覚化します。
私たちは、分子列表現で動作するセルフアテンション トランスフォーマーに焦点を当て、微調整のために事前トレーニングされたエンコーダーを活用します。
水と有機溶媒への溶解度を予測し、視覚化することでその方法を紹介します。
解釈可能な予測を取得しながら、競争力のあるモデルのパフォーマンスを達成し、それを使用して事前トレーニングされたモデルを検査します。

要約(オリジナル)

Explainability techniques are crucial in gaining insights into the reasons behind the predictions of deep learning models, which have not yet been applied to chemical language models. We propose an explainable AI technique that attributes the importance of individual atoms towards the predictions made by these models. Our method backpropagates the relevance information towards the chemical input string and visualizes the importance of individual atoms. We focus on self-attention Transformers operating on molecular string representations and leverage a pretrained encoder for finetuning. We showcase the method by predicting and visualizing solubility in water and organic solvents. We achieve competitive model performance while obtaining interpretable predictions, which we use to inspect the pretrained model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google