Limits to Predicting Online Speech Using Large Language Models

要約

私たちは、ソーシャルメディア上のオンライン発言の予測可能性と、ユーザー自身の投稿以外の情報によって予測可能性が向上するかどうかを研究します。
最近の理論的結果は、ユーザーのソーシャル サークルからの投稿は、ユーザーの過去の投稿と同様に、ユーザーの将来の投稿を予測することを示唆しています。
大規模な言語モデルの成功を動機として、私たちはこの仮説を実証的に検証します。
予測可能性をモデルの不確実性の尺度、つまりコンテキストが与えられた将来のトークンの負の対数尤度として定義します。
研究の基礎として、「ツイートチューニング」基本モデル用に 1,000 万件のツイートを収集し、さらに 5,000 人以上の X (以前の Twitter) ユーザーとその仲間から 625 万件の投稿を収集しました。
サイズが 15 億から 700 億のパラメーターにわたる 4 つの大規模な言語モデル全体で、ユーザーの投稿を同僚の投稿から予測するパフォーマンスが低いことがわかりました。
さらに、予測におけるユーザー自身の投稿の価値は、同僚の投稿の価値よりも一貫して高くなります。
私たちは、コンテキスト内で得られた内容と調査結果の堅牢性を詳細に分析して調査を拡張します。
基本モデルはコンテキストに基づいて、@ メンションとハッシュタグを正しく予測する方法を学習します。
さらに、モデルに追加のコンテキストを要求する代わりに、モデルを微調整すると、結果が再現されます。
全体として、個々のユーザーの投稿を予測するのは依然として難しいことがわかりました。

要約(オリジナル)

We study the predictability of online speech on social media, and whether predictability improves with information outside a user’s own posts. Recent theoretical results suggest that posts from a user’s social circle are as predictive of the user’s future posts as that of the user’s past posts. Motivated by the success of large language models, we empirically test this hypothesis. We define predictability as a measure of the model’s uncertainty, i.e., its negative log-likelihood on future tokens given context. As the basis of our study, we collect 10M tweets for “tweet-tuning” base models and a further 6.25M posts from more than five thousand X (previously Twitter) users and their peers. Across four large language models ranging in size from 1.5 billion to 70 billion parameters, we find that predicting a user’s posts from their peers’ posts performs poorly. Moreover, the value of the user’s own posts for prediction is consistently higher than that of their peers’. We extend our investigation with a detailed analysis on what’s learned in-context and the robustness of our findings. From context, base models learn to correctly predict @-mentions and hashtags. Moreover, our results replicate if instead of prompting the model with additional context, we finetune on it. Across the board, we find that predicting the posts of individual users remains hard.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google