Beyond Natural Language: LLMs Leveraging Alternative Formats for Enhanced Reasoning and Communication

要約

自然言語 (NL) は、長い間人間の認知とコミュニケーションのための主要な形式であり、ひいては大規模言語モデル (LLM) の開発と応用においても同様に極めて重要です。
しかし、LLM は、NL 以外にも、コードや論理式など、事前トレーニング中にさまざまな非 NL 形式を確認してきました。
特に単一 LLM 推論とマルチエージェント通信において、LLM に最適な形式としての NL のステータスは十分に調査されていません。
この研究では、これらのコンテキストにおける非 NL 形式の有用性を調査することで、NL のデフォルトの使用に挑戦します。
LLM が推論または通信する前に最適な形式を自律的に選択できるようにすると、さまざまな LLM の推論効率が 3.3 ～ 5.7\% 向上し、マルチエージェント通信におけるトークン使用量が最大 72.7\% 削減されることがわかりました。
コミュニケーションの有効性を維持しながら。
我々の包括的な分析により、LLM は限られたタスク命令からフォーマットを考案できること、そして考案されたフォーマットは異なる LLM 間で効果的に転送可能であることがさらに明らかになりました。
興味深いことに、LLM によって決定された構造化通信形式は、確立されたエージェント通信言語と顕著な類似点を示しており、エージェント通信における効率的で構造化通信への自然な進化を示唆しています。
私たちのコードは \url{https://github.com/thunlp/AutoForm} でリリースされています。

要約(オリジナル)

Natural language (NL) has long been the predominant format for human cognition and communication, and by extension, has been similarly pivotal in the development and application of Large Language Models (LLMs). Yet, besides NL, LLMs have seen various non-NL formats during pre-training, such as code and logical expression. NL’s status as the optimal format for LLMs, particularly in single-LLM reasoning and multi-agent communication, has not been thoroughly examined. In this work, we challenge the default use of NL by exploring the utility of non-NL formats in these contexts. We show that allowing LLMs to autonomously select the most suitable format before reasoning or communicating leads to a 3.3 to 5.7\% improvement in reasoning efficiency for different LLMs, and up to a 72.7\% reduction in token usage in multi-agent communication, all while maintaining communicative effectiveness. Our comprehensive analysis further reveals that LLMs can devise a format from limited task instructions and that the devised format is effectively transferable across different LLMs. Intriguingly, the structured communication format decided by LLMs exhibits notable parallels with established agent communication languages, suggesting a natural evolution towards efficient, structured communication in agent communication. Our code is released at \url{https://github.com/thunlp/AutoForm}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google