Explicit Learning and the LLM in Machine Translation

要約

この研究では、明示的な学習のための大規模な言語モデル（LLMS）の能力を調査します。これは、言語タスクを実行するためのメタン言語的説明の同化を含むプロセスです。
制御されたテスト環境として暗号化手段によって生成された構築された言語を使用して、文法ルールを明示的に学習および適用するLLMの能力を評価するための実験を設計しました。
我々の結果は、LLMSが明示的な学習のための測定可能な能力を持っているが、この能力は、手元の言語現象の複雑さが増加するにつれて減少することを示しています。
思考の鎖で監視された微調整はLLMのパフォーマンスを大幅に向上させますが、類型的に斬新な、またはより複雑な言語的特徴に一般化するのに苦労しています。
これらの調査結果は、LLMによる明示的な学習をさらに改善するための、より多様なトレーニングセットと代替の微調整戦略の必要性を指摘しています。

要約(オリジナル)

This study explores the capacity of large language models (LLMs) for explicit learning, a process involving the assimilation of metalinguistic explanations to carry out language tasks. Using constructed languages generated by cryptographic means as controlled test environments, we designed experiments to assess an LLM’s ability to explicitly learn and apply grammar rules. Our results demonstrate that while LLMs possess a measurable capacity for explicit learning, this ability diminishes as the complexity of the linguistic phenomena at hand increases. Supervised fine-tuning on chains of thought significantly enhances LLM performance but struggles to generalize to typologically novel or more complex linguistic features. These findings point to the need for more diverse training sets and alternative fine-tuning strategies to further improve explicit learning by LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google