要約
タイトル：ChatGPTに信頼できる情報が含まれるか？ChatGPTの信頼性の測定と特徴付け法
要約：これまでの検索エンジンとは異なり、ChatGPTはモデルから知識を取得し、ユーザーのために答えを生成することで、ユーザーが情報を取得する方法が変わりつつある。ChatGPTの印象的な質問応答能力は、短期間で1億人以上のユーザーを惹きつけているが、同時にその信頼性についても懸念が高まっている。本論文では、10のデータセットと8のドメインにわたる5,695の質問を入念に選定し、一般的な質問応答シナリオにおけるChatGPTの信頼性の初の大規模測定を行う。その結果、ChatGPTの信頼性は、法律や科学の質問では特に低いことがわかった。さらに、OpenAIが設計したシステムロールを使用することで、ChatGPTの信頼性が影響されることがわかった。また、ChatGPTはアドバーサリアル・エグザンプルに対して脆弱であり、一文字の変更ですら、特定の場合にはその信頼性に悪影響を与えることが示された。本論文は、ChatGPTの信頼性に関する貴重な洞察を提供し、大規模言語モデル(LLM)の信頼性とセキュリティの強化の必要性を強調している。
要約の要点：
– ChatGPTは、モデル内の情報から知識を取得し、質問に答えることができる。
– ChatGPTは、一般的な質問応答シナリオにおける信頼性を初めて大規模に測定した。
– ChatGPTの信頼性は、さまざまなドメインによって異なり、特に法律や科学の質問では信頼性が低かった。
– システムロールは、ChatGPTの信頼性に影響を与えることができる。
– ChatGPTは、アドバーサリアル・エグザンプルに対して脆弱であり、一文字の変更ですら、特定の場合にはその信頼性に悪影響を与えることが示された。
– この研究は、ChatGPTの信頼性に関する貴重な洞察を提供し、大規模言語モデル(LLM)の信頼性とセキュリティの強化の必要性を強調している。
要約(オリジナル)
The way users acquire information is undergoing a paradigm shift with the advent of ChatGPT. Unlike conventional search engines, ChatGPT retrieves knowledge from the model itself and generates answers for users. ChatGPT’s impressive question-answering (QA) capability has attracted more than 100 million users within a short period of time but has also raised concerns regarding its reliability. In this paper, we perform the first large-scale measurement of ChatGPT’s reliability in the generic QA scenario with a carefully curated set of 5,695 questions across ten datasets and eight domains. We find that ChatGPT’s reliability varies across different domains, especially underperforming in law and science questions. We also demonstrate that system roles, originally designed by OpenAI to allow users to steer ChatGPT’s behavior, can impact ChatGPT’s reliability. We further show that ChatGPT is vulnerable to adversarial examples, and even a single character change can negatively affect its reliability in certain cases. We believe that our study provides valuable insights into ChatGPT’s reliability and underscores the need for strengthening the reliability and security of large language models (LLMs).
arxiv情報
| 著者 | Xinyue Shen,Zeyuan Chen,Michael Backes,Yang Zhang |
| 発行日 | 2023-04-18 13:20:45+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, OpenAI