Large Content And Behavior Models To Understand, Simulate, And Optimize Content And Behavior

要約

シャノンは情報理論を紹介した彼の代表的な論文の中で、通信を技術的、意味的、効果的の3つのレベルに分けた。技術的レベルは送信されたシンボルの正確な再構成に関係するが、意味的レベルと有効性レベルは、推測された意味とそれが受信者に与える影響を扱う。電気通信のおかげで、第一レベルの問題はインターネットのような大きな進歩をもたらした。ラージ・ランゲージ・モデル（LLM）は、第二の目標に向けてある程度の進歩を遂げているが、第三のレベルはまだほとんど手つかずのままである。第3の問題は、望ましい受信者の行動を予測し、通信を最適化することである。LLMは、幅広いタスクで幅広い汎化能力を発揮する一方で、これを解決することはできない。その理由の一つは、LLMの学習コーパスに「行動トークン」が含まれていないことである。行動トークンとは、シェア、いいね、クリック、購入、リツイートなど、コミュニケーションにおける受信者の行動を定義するものである。LLM学習用のデータを前処理する際、ビヘイビアトークンはノイズとしてコーパスから除去されることが多い。そこで本稿では、LLM学習において行動トークンを再導入するための初期的な進捗を示す。学習されたモデルは、内容理解タスクにおいてLLMと同様の性能を示す他、行動シミュレーション、内容シミュレーション、行動理解、行動領域適応において汎化能力を示す。2つのコーパスの幅広いタスクを使用し、これら全ての能力に関する結果を示す。これらのモデルをLarge Content and Behavior Models (LCBMs)と呼ぶ。さらに、LCBMの研究に拍車をかけるために、コミュニケータ、メッセージ、および対応するレシーバの行動を含むリポジトリである、新しいコンテンツ行動コーパス（CBC）を公開する。

要約(オリジナル)

Shannon, in his seminal paper introducing information theory, divided the communication into three levels: technical, semantic, and effectivenss. While the technical level is concerned with accurate reconstruction of transmitted symbols, the semantic and effectiveness levels deal with the inferred meaning and its effect on the receiver. Thanks to telecommunications, the first level problem has produced great advances like the internet. Large Language Models (LLMs) make some progress towards the second goal, but the third level still remains largely untouched. The third problem deals with predicting and optimizing communication for desired receiver behavior. LLMs, while showing wide generalization capabilities across a wide range of tasks, are unable to solve for this. One reason for the underperformance could be a lack of ‘behavior tokens’ in LLMs’ training corpora. Behavior tokens define receiver behavior over a communication, such as shares, likes, clicks, purchases, retweets, etc. While preprocessing data for LLM training, behavior tokens are often removed from the corpora as noise. Therefore, in this paper, we make some initial progress towards reintroducing behavior tokens in LLM training. The trained models, other than showing similar performance to LLMs on content understanding tasks, show generalization capabilities on behavior simulation, content simulation, behavior understanding, and behavior domain adaptation. Using a wide range of tasks on two corpora, we show results on all these capabilities. We call these models Large Content and Behavior Models (LCBMs). Further, to spur more research on LCBMs, we release our new Content Behavior Corpus (CBC), a repository containing communicator, message, and corresponding receiver behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL