Frankentext: Stitching random text fragments into long-form narratives

要約

Frankentextsを紹介します。これは、ほとんどのトークン（90％など）を人間の著作から逐語的にコピーする必要があるという極端な制約の下で、LLMが作成した新しいタイプの長い形式の物語です。
このタスクは、制御可能な生成の挑戦的なテストを提示し、モデルがライティングプロンプトを満たし、異なるテキストフラグメントを統合し、依然として一貫した物語を生成する必要があります。
Frankentextsを生成するために、人間が作成したパッセージを選択して組み合わせてドラフトを作成するようにモデルに指示し、ユーザー指定のコピー比を維持しながらドラフトを繰り返し修正します。
3つの軸に沿った結果として生じるフランケンテキストを評価します。品質、命令の順守、検出可能性です。
Gemini-2.5-Proは、このタスクで驚くほどうまく機能します。フランケンテキストの81％は一貫性があり、プロンプトに100％関連しています。
特に、これらの出力の最大59％は、Pangramのような検出器によって人間が書かれたものとして誤分類され、AIテキスト検出器の制限が明らかになります。
人間のアノテーターは、特に長い世代で、セグメント間の突然のトーンシフトと一貫性のない文法を通じて、フランケンテキストを識別することができます。
挑戦的な世代のタスクを提示するだけでなく、Frankentextsは、この新しいグレーの著者の効果的な検出器の構築に関する議論を招待し、混合著者の検出のためのトレーニングデータを提供し、人間の共同執筆プロセスを研究するためのサンドボックスとして機能します。

要約(オリジナル)

We introduce Frankentexts, a new type of long-form narratives produced by LLMs under the extreme constraint that most tokens (e.g., 90%) must be copied verbatim from human writings. This task presents a challenging test of controllable generation, requiring models to satisfy a writing prompt, integrate disparate text fragments, and still produce a coherent narrative. To generate Frankentexts, we instruct the model to produce a draft by selecting and combining human-written passages, then iteratively revise the draft while maintaining a user-specified copy ratio. We evaluate the resulting Frankentexts along three axes: writing quality, instruction adherence, and detectability. Gemini-2.5-Pro performs surprisingly well on this task: 81% of its Frankentexts are coherent and 100% relevant to the prompt. Notably, up to 59% of these outputs are misclassified as human-written by detectors like Pangram, revealing limitations in AI text detectors. Human annotators can sometimes identify Frankentexts through their abrupt tone shifts and inconsistent grammar between segments, especially in longer generations. Beyond presenting a challenging generation task, Frankentexts invite discussion on building effective detectors for this new grey zone of authorship, provide training data for mixed authorship detection, and serve as a sandbox for studying human-AI co-writing processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google