Characterizing Similarities and Divergences in Conversational Tones in Humans and LLMs by Sampling with People

要約

会話のトーン、つまり話者がコミュニケーションをとる際のマナーや態度は、効果的なコミュニケーションに不可欠です。
近年、大規模言語モデル (LLM) の普及が進む中、人間と比較した LLM の会話のトーンの相違を特徴付けることが必要になっています。
しかし、会話様式に関する既存の研究は既存の分類法やテキストコーパスに依存しているため、実験者のバイアスがあり、研究の心理言語領域の実世界の分布を代表していない可能性があります。
認知科学の手法にインスピレーションを得て、我々は、会話のトーンと文を同時に引き出すための反復手法を提案します。この手法では、参加者が 2 つのタスクを交互に行います: (1) 1 人の参加者が与えられた文のトーンを識別し、(2) 別の参加者がそれに基づいて文を生成します。
その口調で。
人間の参加者と GPT-4 を使用してこのプロセスを 100 回繰り返し実行し、文と頻繁な会話トーンのデータセットを取得します。
追加の実験では、人間と GPT-4 がすべての文にすべての声調で注釈を付けました。
1,339 人の人間の参加者、33,370 件の人間の判断、29,900 件の GPT-4 クエリからのデータを使用して、人間の会話のトーンと GPT-4 の関係を解釈可能な幾何学的表現を作成するために私たちのアプローチをどのように使用できるかを示します。
この研究は、機械学習と認知科学のアイデアを組み合わせることで、人間とコンピューターの相互作用における課題にどのように対処できるかを示しています。

要約(オリジナル)

Conversational tones — the manners and attitudes in which speakers communicate — are essential to effective communication. Amidst the increasing popularization of Large Language Models (LLMs) over recent years, it becomes necessary to characterize the divergences in their conversational tones relative to humans. However, existing investigations of conversational modalities rely on pre-existing taxonomies or text corpora, which suffer from experimenter bias and may not be representative of real-world distributions for the studies’ psycholinguistic domains. Inspired by methods from cognitive science, we propose an iterative method for simultaneously eliciting conversational tones and sentences, where participants alternate between two tasks: (1) one participant identifies the tone of a given sentence and (2) a different participant generates a sentence based on that tone. We run 100 iterations of this process with human participants and GPT-4, then obtain a dataset of sentences and frequent conversational tones. In an additional experiment, humans and GPT-4 annotated all sentences with all tones. With data from 1,339 human participants, 33,370 human judgments, and 29,900 GPT-4 queries, we show how our approach can be used to create an interpretable geometric representation of relations between conversational tones in humans and GPT-4. This work demonstrates how combining ideas from machine learning and cognitive science can address challenges in human-computer interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google