ChatLog: Recording and Analyzing ChatGPT Across Time

要約

タイトル：ChatLog: Recording and Analyzing ChatGPT Across Time

要約：

– ChatGPTの行動が時間とともにどのように変化するかを調べた研究は少ない。
– この論文では、毎月更新されるChatLog-Monthlyと毎日更新されるChatLog-Dailyの2つのデータセットを使用して、ChatGPTの時間的変化を調査した。
– ChatLog-Monthlyは、理論的及び分類的なタスクからの質問を含む38,730の質問応答ペアで構成されている。
– ChatLog-Dailyは、毎日同じ1000の質問に対するChatGPTの応答を含む。
– ChatGPTの進化するパターンの存在を証明するために、包括的な自動および人間による評価を実施した。
– ChatGPTの不変の特性を分析し、その知識と言語特徴を抽出した。
– ChatGPTの新しいバージョンのRobertaベースの検出器の堅牢性を向上させる安定した特徴を発見した。
– ChatLogプロジェクトは、https://github.com/THU-KEG/ChatLogで引き続き維持されます。

要約(オリジナル)

While there are abundant researches about evaluating ChatGPT on natural language understanding and generation tasks, few studies have investigated how ChatGPT’s behavior changes over time. In this paper, we collect a coarse-to-fine temporal dataset called ChatLog, consisting of two parts that update monthly and daily: ChatLog-Monthly is a dataset of 38,730 question-answer pairs collected every month including questions from both the reasoning and classification tasks. ChatLog-Daily, on the other hand, consists of ChatGPT’s responses to 1000 identical questions for long-form generation every day. We conduct comprehensive automatic and human evaluation to provide the evidence for the existence of ChatGPT evolving patterns. We further analyze the unchanged characteristics of ChatGPT over time by extracting its knowledge and linguistic features. We find some stable features to improve the robustness of a RoBERTa-based detector on new versions of ChatGPT. We will continuously maintain our project at https://github.com/THU-KEG/ChatLog.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI