Can AI writing be salvaged? Mitigating Idiosyncrasies and Improving Human-AI Alignment in the Writing Process through Edits

要約

LLMベースのアプリケーションは、人々が書くのを支援しており、LLMで生成されたテキストはソーシャルメディア、ジャーナリズム、および私たちの教室に進出しています。
ただし、LLM生成されたテキストと人間の書かれたテキストの違いは不明のままです。
これを探求するために、私たちはプロの作家を雇い、いくつかの創造的なドメインで段落を編集しました。
これらの作家は、LLM生成テキストの望ましくない特異性に同意し、7カテゴリーの分類法（例：Clich \ ‘es、不必要な博覧会）に形式化することに最初に発見しました。
第二に、ランプコーパスをキュレーションしました：1,057 LLM生成された段落は、私たちの分類に従ってプロの作家によって編集されました。
ランプの分析により、私たちの研究で使用されたLLMのいずれも（GPT4O、Claude-3.5-Sonnet、llama-3.1-70b）が品質を書くという点で互いを上回っていないことを明らかにしており、モデルファミリ全体の一般的な制限を明らかにしています。
第三に、自動編集の既存の作業に基づいて、LLMで生成されたテキストを改善する方法を評価しました。
大規模な好みの注釈は、専門家が他の専門家によって編集されたテキストを大部分好むが、自動編集方法はLLM生成されたテキストと人間が作成したテキスト間の調整を改善することに有望であることを確認している。

要約(オリジナル)

LLM-based applications are helping people write, and LLM-generated text is making its way into social media, journalism, and our classrooms. However, the differences between LLM-generated and human written text remain unclear. To explore this, we hired professional writers to edit paragraphs in several creative domains. We first found these writers agree on undesirable idiosyncrasies in LLM generated text, formalizing it into a seven-category taxonomy (e.g. clich\’es, unnecessary exposition). Second, we curated the LAMP corpus: 1,057 LLM-generated paragraphs edited by professional writers according to our taxonomy. Analysis of LAMP reveals that none of the LLMs used in our study (GPT4o, Claude-3.5-Sonnet, Llama-3.1-70b) outperform each other in terms of writing quality, revealing common limitations across model families. Third, building on existing work in automatic editing we evaluated methods to improve LLM-generated text. A large-scale preference annotation confirms that although experts largely prefer text edited by other experts, automatic editing methods show promise in improving alignment between LLM-generated and human-written text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google