Naturally Occurring Feedback is Common, Extractable and Useful

要約

人間のフィードバックデータは、言語モデルを開発する上で非常に重要な要素である。しかし、このフィードバックを収集するにはコストがかかり、結局のところスケーラブルではない。我々は、人間の対話者が互いに自発的に未承諾のフィードバックを提供する方法にヒントを得て、ユーザがチャットモデルと対話する際に自然に含まれるフィードバックを抽出することを提案する。我々は、標準的なコーパスの中で自然に発生するフィードバックの存在を確認するために、手作業で会話に注釈を付け、30％ものチャットが明示的なフィードバックを含むことを発見した。古いデータセットと比較すると、最近の会話データセットでは自然発生フィードバックがより多く見られることがわかり、これまで以上に自然発生フィードバックがフィードバックデータの貴重なリソースとして機能することが示唆される。我々はこのフィードバックを自動的に抽出する方法を提案し、それを1M以上の会話に適用して数十万のフィードバックサンプルを得た。抽出されたフィードバックは有望であり、これを用いた学習はベースラインモデルよりも改善され、人間の嗜好に対するモデルのアライメントを向上させる。

要約(オリジナル)

Human feedback data is a critical component in developing language models. However, collecting this feedback is costly and ultimately not scalable. Inspired by the way human interlocutors provide spontaneous unsolicited feedback to each other, we propose to extract feedback that users naturally include when interacting with chat models. We manually annotated conversations to confirm the presence of naturally occurring feedback in a standard corpus, finding that as much as 30% of the chats include explicit feedback. Comparing to older datasets, we find that naturally occurring feedback is more prevalent in recent conversation datasets, suggesting that more than ever, naturally occurring feedback can serve as a valuable resource for feedback data. We propose a method for automatically extracting this feedback, and apply it to over 1M conversations to obtain hundreds of thousands of feedback samples. The extracted feedback shows promise: training with it improves over baseline models and enhances model alignment to human preferences.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL