Challenges in Guardrailing Large Language Models for Science

要約

大規模言語モデル (LLM) の急速な発展により、自然言語の処理と理解 (NLP/NLU) の状況が変わり、さまざまなドメインにわたって大きなメリットがもたらされました。
ただし、これらの強力なモデルを科学研究に適用すると、科学的な完全性と信頼性に関連する重大な障害モードが発生します。
既存の汎用 LLM ガードレールでは、科学分野におけるこれらの特有の課題に対処するには不十分です。
当社は、科学分野で LLM ガードレールを導入するための包括的なガイドラインを提供します。
私たちは、時間の敏感さ、知識の文脈化、紛争解決、知的財産権の懸念などの具体的な課題を特定し、科学的ニーズに合わせたガードレールのガイドラインの枠組みを提案します。
これらのガードレールの側面には、信頼性、倫理と偏見、安全性、法的側面が含まれます。
また、科学的文脈の中で実施できるホワイトボックス、ブラックボックス、グレーボックスの方法論を採用した実装戦略についても詳細に概説します。

要約(オリジナル)

The rapid development in large language models (LLMs) has transformed the landscape of natural language processing and understanding (NLP/NLU), offering significant benefits across various domains. However, when applied to scientific research, these powerful models exhibit critical failure modes related to scientific integrity and trustworthiness. Existing general-purpose LLM guardrails are insufficient to address these unique challenges in the scientific domain. We provide comprehensive guidelines for deploying LLM guardrails in the scientific domain. We identify specific challenges — including time sensitivity, knowledge contextualization, conflict resolution, and intellectual property concerns — and propose a guideline framework for the guardrails that can align with scientific needs. These guardrail dimensions include trustworthiness, ethics & bias, safety, and legal aspects. We also outline in detail the implementation strategies that employ white-box, black-box, and gray-box methodologies that can be enforced within scientific contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google