Word Synchronization Challenge: A Benchmark for Word Association Responses for LLMs

要約

このペーパーでは、ヒューマンコンピューターの相互作用（HCI）の大規模な言語モデル（LLM）を評価するための新しいベンチマークである同期課題という言葉を紹介します。
このベンチマークは、ダイナミックなゲームのようなフレームワークを使用して、LLMS機能をテストして、単語の関連性を通じて人間の認知プロセスを模倣します。
複雑な人間の相互作用をシミュレートすることにより、LLMSは、HCIの効果的な社会的パートナーシップに不可欠な会話交換中の人間の思考パターンとどのように解釈し、整合するかを評価します。
最初の調査結果は、モデルの洗練度がパフォーマンスに及ぼす影響を強調し、モデルの能力に関する洞察を提供して、有意義な社会的相互作用に従事し、人間のような方法で行動を適応させます。
この研究は、人間の認知機能から複製または分岐するLLMSの可能性の理解を促進し、より微妙で共感的なヒューマシンコラボレーションへの道を開いています。

要約(オリジナル)

This paper introduces the Word Synchronization Challenge, a novel benchmark to evaluate large language models (LLMs) in Human-Computer Interaction (HCI). This benchmark uses a dynamic game-like framework to test LLMs ability to mimic human cognitive processes through word associations. By simulating complex human interactions, it assesses how LLMs interpret and align with human thought patterns during conversational exchanges, which are essential for effective social partnerships in HCI. Initial findings highlight the influence of model sophistication on performance, offering insights into the models capabilities to engage in meaningful social interactions and adapt behaviors in human-like ways. This research advances the understanding of LLMs potential to replicate or diverge from human cognitive functions, paving the way for more nuanced and empathetic human-machine collaborations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google