Revealing the Pragmatic Dilemma for Moral Reasoning Acquisition in Language Models

要約

大規模な言語モデル（LLM）が、社会的価値を順守する応答だけであることを確認することが、より広範なアプリケーションにとって非常に重要です。
以前の研究では、LLMが倫理に基づく判断などの道徳的認識を必要とするタスクでLLMが十分に実行できないことが多いことが示されています。
現在のアプローチは、このようなタスクの機能を改善するためにキュレーションされたデータセットを備えたLLMSを微調整していることに焦点を当てていますが、LLMSの倫理的反応を強化するための最適な学習パラダイムを選択することは、未解決の研究議論のままです。
この作業では、この基本的な質問に対処することを目指しています。現在の学習パラダイムは、LLMが十分な道徳的推論能力を獲得できるようにすることができますか？
分布のセマンティクス理論と道徳的談話の実用的な性質からの導き出し、私たちの分析は、パフォーマンスの改善がセマンティックレベルのタスクと同様のメカニズムに従うことを示しています。
この実用的なジレンマは、現在の学習パラダイムの一般化能力に大きな制限を課し、LLMSでの道徳的推論の獲得のための主要なボトルネックになっていると結論付けています。

要約(オリジナル)

Ensuring that Large Language Models (LLMs) return just responses which adhere to societal values is crucial for their broader application. Prior research has shown that LLMs often fail to perform satisfactorily on tasks requiring moral cognizance, such as ethics-based judgments. While current approaches have focused on fine-tuning LLMs with curated datasets to improve their capabilities on such tasks, choosing the optimal learning paradigm to enhance the ethical responses of LLMs remains an open research debate. In this work, we aim to address this fundamental question: can current learning paradigms enable LLMs to acquire sufficient moral reasoning capabilities? Drawing from distributional semantics theory and the pragmatic nature of moral discourse, our analysis indicates that performance improvements follow a mechanism similar to that of semantic-level tasks, and therefore remain affected by the pragmatic nature of morals latent in discourse, a phenomenon we name the pragmatic dilemma. We conclude that this pragmatic dilemma imposes significant limitations on the generalization ability of current learning paradigms, making it the primary bottleneck for moral reasoning acquisition in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google