Attention to Entropic Communication

要約

注意の概念、つまり特定のデータの重要性を強調する数値的な重みは、人工知能に非常に関連していることが証明されています。
相対エントロピー (RE、別名カルバック・ライブラー発散) は、コミュニケーション理論において中心的な役割を果たします。
ここでは、これらの概念、注意と RE を組み合わせます。
RE は、帯域幅が制限された通信におけるメッセージの最適なエンコードと、最大エントロピー原理 (MEP) による最適なメッセージのデコードをガイドします。
コーディング シナリオでは、RE は 4 つの要件、つまり分析的、ローカル、適切、および校正済みであることから導き出すことができます。
通信における注意喚起に使用される加重 RE が不適切であることが判明しました。
適切な注意を払ってコミュニケーションを行う方法を確認するために、メッセージの受信者が十分な情報に基づいたアクションを実行できるようにしたいというメッセージ送信者のシナリオを分析します。
受信者が MEP を使用してメッセージをデコードする場合、送信者は最適に通知するために受信者のユーティリティ関数を知るだけでよく、受信者の初期知識状態は必要ありません。
効用関数の最大値の曲率だけがわかっている場合、この曲率で重み付けされ再正規化された確率関数によって、注意関数を正確に伝達することが望ましいことになる。
エントロピー アテンション コミュニケーションは、適切でありながら重み付けを可能にするエントロピー コミュニケーションの望ましい一般化としてここで提案され、それによって技術的応用における最適な通信プロトコルの設計を助け、人間のコミュニケーションを理解するのに役立ちます。
たとえば、私たちの分析は、誠実なコミュニケーションパートナーの利益が一致していない場合に期待される協力レベルを導き出す方法を示しています。

要約(オリジナル)

The concept of attention, numerical weights that emphasize the importance of particular data, has proven to be very relevant in artificial intelligence. Relative entropy (RE, aka Kullback-Leibler divergence) plays a central role in communication theory. Here we combine these concepts, attention and RE. RE guides optimal encoding of messages in bandwidth-limited communication as well as optimal message decoding via the maximum entropy principle (MEP). In the coding scenario, RE can be derived from four requirements, namely being analytical, local, proper, and calibrated. Weighted RE, used for attention steering in communications, turns out to be improper. To see how proper attention communication can emerge, we analyze a scenario of a message sender who wants to ensure that the receiver of the message can perform well-informed actions. If the receiver decodes the message using the MEP, the sender only needs to know the receiver’s utility function to inform optimally, but not the receiver’s initial knowledge state. In case only the curvature of the utility function maxima are known, it becomes desirable to accurately communicate an attention function, in this case a by this curvature weighted and re-normalized probability function. Entropic attention communication is here proposed as the desired generalization of entropic communication that permits weighting while being proper, thereby aiding the design of optimal communication protocols in technical applications and helping to understand human communication. For example, our analysis shows how to derive the level of cooperation expected under misaligned interests of otherwise honest communication partners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google