Use of probabilistic phrases in a coordination game: human versus GPT-4

要約

英語話者は、出来事の確率や可能性に関する情報を伝えるために、「見込みあり」などの確率的なフレーズを使用します。
話し手が伝えようとしていることを聞き手が理解できる限り、コミュニケーションは成功します。コミュニケーションが成功すれば、2 人が不確実性についての共有知識に基づいて行動を調整できる可能性があります。
まず、投資アドバイスと医療アドバイスという 2 つの異なる状況で、23 の確率的フレーズの確率と曖昧さ (不正確さ) を推定する人間の能力を評価しました。
次に、最近の大規模言語モデルである GPT4 (OpenAI) に人間の参加者と同じタスクを完了させました。
人間の参加者の中央値と GPT4 が割り当てた確率推定値はよく一致していることがわかりました (考慮された分散の割合は 0.90 に近かった)。
投資と医療の両方の状況における GPT4 の確率の推定値は、人間の参加者の推定値と同じか、人間の参加者同士の推定値に近いものでした。
人間の参加者と GPT4 の両方の確率の推定値は、コンテキストによる影響をほとんど受けませんでした。
対照的に、曖昧さに関する人間と GPT4 の推定値はそれほどよく一致していませんでした。
安定性を評価するために GPT4 推定の一部を繰り返しました。GPT4 を 2 回実行すると、同じまたは類似の推定が生成されますか?
そうではないとの指摘もある。

要約(オリジナル)

English speakers use probabilistic phrases such as likely to communicate information about the probability or likelihood of events. Communication is successful to the extent that the listener grasps what the speaker means to convey and, if communication is successful, two individuals can potentially coordinate their actions based on shared knowledge about uncertainty. We first assessed human ability to estimate the probability and the ambiguity (imprecision) of 23 probabilistic phrases in two different contexts, investment advice and medical advice. We then had GPT4 (OpenAI), a recent Large Language Model, complete the same tasks as the human participants. We found that the median human participant and GPT4 assigned probability estimates that were in good agreement (proportions of variance accounted were close to .90). GPT4’s estimates of probability both in the investment and Medical contexts were as close or closer to that of the human participants as the human participants were to one another. Estimates of probability for both the human participants and GPT4 were little affected by context. In contrast, human and GPT4 estimates of ambiguity were not in as good agreement. We repeated some of the GPT4 estimates to assess their stability: does GPT4, if run twice, produce the same or similar estimates? There is some indication that it does not.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google