要約
大規模な言語モデルを利用したチャットボットである ChatGPT の出現により、従来の検索エンジンに対する潜在的な影響についての疑問が生じています。
この研究では、情報探索タスクに検索エンジンとチャットボット ツールを使用するときのユーザーの行動の違いを調査します。
ランダム化されたオンライン実験を実行し、参加者を 2 つのグループに分けます。1 つは ChatGPT のようなツールを使用し、もう 1 つは Google 検索のようなツールを使用します。
私たちの調査結果では、ChatGPT グループは一貫してすべてのタスクに費やす時間が短く、グループ間で全体的なタスクのパフォーマンスに大きな差がないことが明らかになりました。
特に、ChatGPT はさまざまな教育レベルにわたってユーザーの検索パフォーマンスを平準化し、率直な質問に答えて一般的な解決策を提供する点では優れていますが、事実確認タスクでは不十分です。
両方のツールに対して同等レベルの信頼を示しているにもかかわらず、ユーザーは ChatGPT の応答の方が Google 検索よりも情報の品質が高いと認識しています。
さらに、ChatGPT を使用している参加者は、有用性、楽しさ、満足度の点でユーザー エクスペリエンスが大幅に向上していると報告していますが、体感的な使いやすさは 2 つのツール間で同等のままです。
ただし、ChatGPT は過剰依存につながり、誤った情報が生成または複製され、一貫性のない結果が生じる可能性もあります。
私たちの調査は、検索エンジン管理に関する貴重な洞察を提供し、チャットボット テクノロジーを検索エンジン設計に統合する機会を浮き彫りにしています。
要約(オリジナル)
The advent of ChatGPT, a large language model-powered chatbot, has prompted questions about its potential implications for traditional search engines. In this study, we investigate the differences in user behavior when employing search engines and chatbot tools for information-seeking tasks. We carry out a randomized online experiment, dividing participants into two groups: one using a ChatGPT-like tool and the other using a Google Search-like tool. Our findings reveal that the ChatGPT group consistently spends less time on all tasks, with no significant difference in overall task performance between the groups. Notably, ChatGPT levels user search performance across different education levels and excels in answering straightforward questions and providing general solutions but falls short in fact-checking tasks. Users perceive ChatGPT’s responses as having higher information quality compared to Google Search, despite displaying a similar level of trust in both tools. Furthermore, participants using ChatGPT report significantly better user experiences in terms of usefulness, enjoyment, and satisfaction, while perceived ease of use remains comparable between the two tools. However, ChatGPT may also lead to overreliance and generate or replicate misinformation, yielding inconsistent results. Our study offers valuable insights for search engine management and highlights opportunities for integrating chatbot technologies into search engine designs.
arxiv情報
| 著者 | Ruiyun Xu,Yue Feng,Hailiang Chen |
| 発行日 | 2023-07-03 16:15:34+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google