Ask the experts: sourcing high-quality datasets for nutritional counselling through Human-AI collaboration

要約

大規模言語モデル (LLM) は、柔軟な生成機能を備えており、利用可能なコーパスがほとんどない、またはまったくないドメインでは強力なデータ ソースとなり得ます。
ただし、幻覚や偏見などの問題により、そのような用途は制限されます。
このケーススタディでは、公的リソースが不足している分野である栄養カウンセリングを取り上げ、LLM、クラウドワーカー、栄養専門家を組み合わせることで高品質のデータセットを収集できることを示します。
私たちはまず、ダイエット関連の問題の新しいデータセットをクラウドソーシングしてクラスタリングし、次に専門家と協力して ChatGPT に関連するサポート テキストの作成を促します。
最後に、生成されたテキストの安全性を専門家に評価させます。
私たちは、クラウド ワーカーによる約 240,000 件の食事の苦労と、ChatGPT によって生成された約 97,000 件の関連支援テキストを含む、初の専門家注釈付き栄養カウンセリング データセットである HAI コーチングをリリースします。
広範な分析によると、ChatGPT は非常に流暢で人間らしいテキストを生成する一方で、特にメンタルヘルスなどのデリケートなトピックにおいて有害な動作を示すため、監視なしでの使用には適さないことがわかっています。

要約(オリジナル)

Large Language Models (LLMs), with their flexible generation abilities, can be powerful data sources in domains with few or no available corpora. However, problems like hallucinations and biases limit such applications. In this case study, we pick nutrition counselling, a domain lacking any public resource, and show that high-quality datasets can be gathered by combining LLMs, crowd-workers and nutrition experts. We first crowd-source and cluster a novel dataset of diet-related issues, then work with experts to prompt ChatGPT into producing related supportive text. Finally, we let the experts evaluate the safety of the generated text. We release HAI-coaching, the first expert-annotated nutrition counselling dataset containing ~2.4K dietary struggles from crowd workers, and ~97K related supportive texts generated by ChatGPT. Extensive analysis shows that ChatGPT while producing highly fluent and human-like text, also manifests harmful behaviours, especially in sensitive topics like mental health, making it unsuitable for unsupervised use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google