The Era of Semantic Decoding

要約

最近の研究では、LLM、人間の入力、さまざまなツール間のコラボレーションを調整して、LLM の固有の制限に対処するというアイデアに大きな期待が寄せられています。
私たちは、これらの共同プロセスを意味論的空間における最適化手順として組み立てる、意味論的デコーディングと呼ばれる新しい視点を提案します。
具体的には、LLM をセマンティック トークン (既知の思考) と呼ばれる意味のある情報を操作するセマンティック プロセッサとして概念化します。
LLM は、人間や、検索エンジンやコード実行プログラムなどのツールを含む、他のセマンティック プロセッサの大規模なプールの 1 つです。
集合的に、セマンティック プロセッサはセマンティック トークンの動的な交換を行って、実用性の高い出力を段階的に構築します。
私たちは、セマンティック空間での最適化と検索を行う、セマンティック プロセッサ間のこれらの調整された相互作用を、セマンティック デコード アルゴリズムと呼びます。
この概念は、構文デコードというよく研究された問題と直接的に類似しています。これには、構文トークンの有用性の高いシーケンスを抽出するための自己回帰言語モデルを最大限に活用するアルゴリズムの作成が含まれます。
意味レベルに焦点を当て、構文の詳細を無視することで、AI システムのエンジニアリングに関する新たな視点が得られ、より複雑で機能の高いシステムを想像できるようになります。
このポジションペーパーでは、構文トークンから意味論トークンへの移行、および構文デコーディングと意味論デコーディングの間の類似性を形式化します。
続いて、セマンティック デコード アルゴリズムを介して、セマンティック トークンの空間内での最適化の可能性を探ります。
最後に、この新たな視点から生じる研究機会と疑問点のリストを紹介します。
セマンティック デコーディングの観点は、新しいタイプの計算の基本単位としてセマンティック トークンを使用して、意味のある概念の空間で直接検索と最適化のための強力な抽象化を提供します。

要約(オリジナル)

Recent work demonstrated great promise in the idea of orchestrating collaborations between LLMs, human input, and various tools to address the inherent limitations of LLMs. We propose a novel perspective called semantic decoding, which frames these collaborative processes as optimization procedures in semantic space. Specifically, we conceptualize LLMs as semantic processors that manipulate meaningful pieces of information that we call semantic tokens (known thoughts). LLMs are among a large pool of other semantic processors, including humans and tools, such as search engines or code executors. Collectively, semantic processors engage in dynamic exchanges of semantic tokens to progressively construct high-utility outputs. We refer to these orchestrated interactions among semantic processors, optimizing and searching in semantic space, as semantic decoding algorithms. This concept draws a direct parallel to the well-studied problem of syntactic decoding, which involves crafting algorithms to best exploit auto-regressive language models for extracting high-utility sequences of syntactic tokens. By focusing on the semantic level and disregarding syntactic details, we gain a fresh perspective on the engineering of AI systems, enabling us to imagine systems with much greater complexity and capabilities. In this position paper, we formalize the transition from syntactic to semantic tokens as well as the analogy between syntactic and semantic decoding. Subsequently, we explore the possibilities of optimizing within the space of semantic tokens via semantic decoding algorithms. We conclude with a list of research opportunities and questions arising from this fresh perspective. The semantic decoding perspective offers a powerful abstraction for search and optimization directly in the space of meaningful concepts, with semantic tokens as the fundamental units of a new type of computation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google