Large Language Models on the Chessboard: A Study on ChatGPT’s Formal Language Comprehension and Complex Reasoning Skills

要約

大規模な言語モデルは自然言語処理において進歩を遂げていますが、チェスのような形式言語の理解を必要とする複雑な推論タスクにおける言語モデルの習熟度については、まだあまり調査されていません。
この論文では、ケーススタディとしてチェスを使用して、このような複雑な推論タスクに取り組む際の OpenAI による洗練された言語モデルである ChatGPT のパフォーマンスを調査します。
手の合法性と質の両方を検査する堅牢な指標を通じて、ChatGPT のチェス盤の理解、チェスのルールの順守、および戦略的意思決定能力を評価します。
私たちの評価では、形式言語理解に影響を与える ChatGPT の注意メカニズム内の制限を特定し、モデルの未発達な自己調整能力を明らかにしました。
私たちの研究では、ChatGPT がゲームプレイにおいて一貫した戦略を立てる傾向があり、モデルに大量の自然言語が与えられたり、チェス盤の状態をより明確に理解したりした場合に、意思決定の積極性が顕著に向上することも明らかになりました。
これらの発見は、自然言語処理を超えた言語モデルの能力の探求の拡大に貢献し、人間のような認知能力を示すモデルに向けた将来の研究に貴重な情報を提供します。

要約(オリジナル)

While large language models have made strides in natural language processing, their proficiency in complex reasoning tasks requiring formal language comprehension, such as chess, remains less investigated. This paper probes the performance of ChatGPT, a sophisticated language model by OpenAI in tackling such complex reasoning tasks, using chess as a case study. Through robust metrics examining both the legality and quality of moves, we assess ChatGPT’s understanding of the chessboard, adherence to chess rules, and strategic decision-making abilities. Our evaluation identifies limitations within ChatGPT’s attention mechanism that affect its formal language comprehension and uncovers the model’s underdeveloped self-regulation abilities. Our study also reveals ChatGPT’s propensity for a coherent strategy in its gameplay and a noticeable uptick in decision-making assertiveness when the model is presented with a greater volume of natural language or possesses a more lucid understanding of the state of the chessboard. These findings contribute to the growing exploration of language models’ abilities beyond natural language processing, providing valuable information for future research towards models demonstrating human-like cognitive abilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google