ALMol: Aligned Language-Molecule Translation LLMs through Offline Preference Contrastive Optimisation

要約

化学と人工知能 (AI) の分野は、科学的発見を加速することを目的とした活発な研究が行われている分野です。
大規模言語モデル (LLM) と科学モダリティの統合は、この取り組みにおいて大きな可能性を示しています。
しかし、特に既存のアプローチが大規模なモデルとデータセットに依存しているため、トレーニングの有効性と分布外の問題に効果的に対処する上で課題が残っています。
これに関連して、私たちは機械語と分子の翻訳に焦点を当て、対照的優先最適化と呼ばれる新しいトレーニング アプローチを導入します。これにより、単に適切であるだけで完璧ではない翻訳の生成を回避できます。
一般性を確保し、暗記効果を軽減するために、データの 10\% のみを使用して実験を実施します。
私たちの結果は、私たちのモデルが同等のモデルと比較して最大 32\% の改善を達成していることを示しています。
また、責任に対応した、スケーラブルできめ細かい評価方法も導入します。

要約(オリジナル)

The field of chemistry and Artificial Intelligence (AI) intersection is an area of active research that aims to accelerate scientific discovery. The integration of large language models (LLMs) with scientific modalities has shown significant promise in this endeavour. However, challenges persist in effectively addressing training efficacy and the out-of-distribution problem, particularly as existing approaches rely on larger models and datasets. In this context, we focus on machine language-molecule translation and deploy a novel training approach called contrastive preference optimisation, which avoids generating translations that are merely adequate but not perfect. To ensure generalisability and mitigate memorisation effects, we conduct experiments using only 10\% of the data. Our results demonstrate that our models achieve up to a 32\% improvement compared to counterpart models. We also introduce a scalable fine-grained evaluation methodology that accommodates responsibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google