Perceived Trustworthiness of Natural Language Generators

要約

人間のような会話テキストを生成できるチャットボットなどの自然言語生成ツールは、個人用途と職業用途の両方で一般的になりつつあります。
ただし、その信頼性と倫理的影響については懸念があります。
この論文は、さまざまなユーザー (言語学者、エンジニアなど) がこれらのツールをどのように認識して採用するか、また機械生成されたテキストの品質をどのように認識するかを理解するという問題に取り組んでいます。
また、自然言語生成ツールの認識されている利点と限界、およびガバナンス戦略に関するユーザーの信念についても説明します。
この研究の主な結果には、自然言語生成ツールの認知された信頼性と採用に対するユーザーの分野と専門知識のレベルの影響、機械生成テキストと比較した場合の機械生成テキストの正確さ、流暢さ、および潜在的なバイアスに関するユーザーの評価が含まれます。
人間が書いたテキスト、および参加者によって特定されたこれらのツールに関連する利点と倫理的リスクの分析。
さらに、この論文では、AI 開発プロセスの強化に対するこれらの発見の潜在的な影響についても説明します。
この論文は、ユーザーのさまざまな特性が、機械生成テキストの品質と全体的な信頼性に対する信念をどのように形成するかを明らかにしています。
さらに、さまざまなユーザーの観点から、これらのツールの利点とリスクを検証します。

要約(オリジナル)

Natural Language Generation tools, such as chatbots that can generate human-like conversational text, are becoming more common both for personal and professional use. However, there are concerns about their trustworthiness and ethical implications. The paper addresses the problem of understanding how different users (e.g., linguists, engineers) perceive and adopt these tools and their perception of machine-generated text quality. It also discusses the perceived advantages and limitations of Natural Language Generation tools, as well as users’ beliefs on governance strategies. The main findings of this study include the impact of users’ field and level of expertise on the perceived trust and adoption of Natural Language Generation tools, the users’ assessment of the accuracy, fluency, and potential biases of machine-generated text in comparison to human-written text, and an analysis of the advantages and ethical risks associated with these tools as identified by the participants. Moreover, this paper discusses the potential implications of these findings for enhancing the AI development process. The paper sheds light on how different user characteristics shape their beliefs on the quality and overall trustworthiness of machine-generated text. Furthermore, it examines the benefits and risks of these tools from the perspectives of different users.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google