Self-Directed Turing Test for Large Language Models

要約

チューリング テストは、AI が自然言語の会話で人間のような動作を示すことができるかどうかを検査します。
従来のチューリング テストでは、各参加者が毎回 1 つのメッセージのみを送信する厳格な対話形式が採用されており、テスト対象者とのやり取り全体を指示するには人間の継続的な関与が必要です。
これは自然な会話スタイルを反映できず、複雑で長時間の対話における大規模言語モデル (LLM) の評価を妨げます。
この論文は、元のテストをバースト対話形式で拡張し、複数の連続メッセージによるより動的な交換を可能にする、自己指向チューリング テストを提案します。
LLM がテスト プロセスの大部分を自己管理し、人間との対話をシミュレートするダイアログを繰り返し生成することで、人間の作業負荷をさらに効率的に軽減します。
疑似対話履歴を使用して、モデルは人間と短い対話を行い、同じトピックに関する人間同士の会話と組み合わせて、アンケートを使用して判断します。
さまざまな期間にわたる LLM の人間らしさを評価するために、X-Turn Pass-Rate メトリクスを導入します。
GPT-4 のような LLM は、最初は良好なパフォーマンスを発揮し、対話の 3 ターンと 10 ターンでそれぞれ 51.9% と 38.9% の合格率を達成しますが、対話が進むにつれてパフォーマンスが低下し、長期的に一貫性を維持することが難しいことを浮き彫りにしています。

要約(オリジナル)

The Turing test examines whether AIs can exhibit human-like behaviour in natural language conversations. Traditional Turing tests adopt a rigid dialogue format where each participant sends only one message each time and require continuous human involvement to direct the entire interaction with the test subject. This fails to reflect a natural conversational style and hinders the evaluation of Large Language Models (LLMs) in complex and prolonged dialogues. This paper proposes the Self-Directed Turing Test, which extends the original test with a burst dialogue format, allowing more dynamic exchanges by multiple consecutive messages. It further efficiently reduces human workload by having the LLM self-direct the majority of the test process, iteratively generating dialogues that simulate its interaction with humans. With the pseudo-dialogue history, the model then engages in a shorter dialogue with a human, which is paired with a human-human conversation on the same topic to be judged using questionnaires. We introduce the X-Turn Pass-Rate metric to assess the human likeness of LLMs across varying durations. While LLMs like GPT-4 initially perform well, achieving pass rates of 51.9% and 38.9% during 3 turns and 10 turns of dialogues respectively, their performance drops as the dialogue progresses, which underscores the difficulty in maintaining consistency in the long term.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google