Understand the Implication: Learning to Think for Pragmatic Understanding

要約

プラグマティクスは、文字通りの解釈を超えて意味を推測する能力であり、社会的認知とコミュニケーションにとって重要です。
LLMは実用的な理解のためにベンチマークされていますが、パフォーマンスを改善することは依然として不足していません。
既存の方法は注釈付きラベルに依存していますが、人間が暗黙の意味を解釈するために自然に使用する推論プロセスを見落としています。
このギャップを埋めるために、正しい解釈と誤った解釈の両方の明示的な推論（思考）を含む、新しい実用的なデータセット、empliedMeaningPreferenceを紹介します。
優先順位と監視された微調整を通じて、思考に基づいた学習がLLMSの実用的な理解を大幅に向上させ、モデルファミリ全体で精度を11.12％改善することを実証します。
さらに、トレーニング時間中に見られないプラグマティクスの他のタスク（前提条件、Deixis）の思考ベースのトレーニングのパフォーマンスを評価し、ラベルトレーニングモデルと比較して16.10％の改善を観察する転送学習研究についてさらに説明します。

要約(オリジナル)

Pragmatics, the ability to infer meaning beyond literal interpretation, is crucial for social cognition and communication. While LLMs have been benchmarked for their pragmatic understanding, improving their performance remains underexplored. Existing methods rely on annotated labels but overlook the reasoning process humans naturally use to interpret implicit meaning. To bridge this gap, we introduce a novel pragmatic dataset, ImpliedMeaningPreference, that includes explicit reasoning (thoughts) for both correct and incorrect interpretations. Through preference-tuning and supervised fine-tuning, we demonstrate that thought-based learning significantly enhances LLMs’ pragmatic understanding, improving accuracy by 11.12% across model families. We further discuss a transfer-learning study where we evaluate the performance of thought-based training for the other tasks of pragmatics (presupposition, deixis) that are not seen during the training time and observe an improvement of 16.10% compared to label-trained models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google