Agentic AI Process Observability: Discovering Behavioral Variability

要約

大規模な言語モデル（LLM）を活用するAIエージェントは、最新のソフトウェアシステムのコアビルディングブロックになりつつあります。
このようなアプリケーションの仕様をサポートするために、幅広いフレームワークが利用可能になりました。
これらのフレームワークは、自然言語のプロンプトを使用してエージェントのセットアップの定義を可能にします。これは、関係するさまざまなエージェントに割り当てられた役割、目標、ツールを指定します。
このようなセットアップ内では、エージェントの動作は特定の入力に対して非決定的であり、堅牢なデバッグおよび観測可能性ツールの重要な必要性を強調しています。
この作業では、開発者の観察性を高める手段として、エージェント実行軌跡に適用されるプロセスと因果発見の使用を調査します。
このアプローチは、エージェントの動作の緊急変動性の監視と理解に役立ちます。
さらに、これをLLMベースの静的分析手法で補完して、意図した行動と意図しない行動変動を区別します。
このような計装は、開発者に進化する仕様をより強力に制御できるようにし、より正確で明示的な定義を必要とする機能の側面を特定するために不可欠であると主張します。

要約(オリジナル)

AI agents that leverage Large Language Models (LLMs) are increasingly becoming core building blocks of modern software systems. A wide range of frameworks is now available to support the specification of such applications. These frameworks enable the definition of agent setups using natural language prompting, which specifies the roles, goals, and tools assigned to the various agents involved. Within such setups, agent behavior is non-deterministic for any given input, highlighting the critical need for robust debugging and observability tools. In this work, we explore the use of process and causal discovery applied to agent execution trajectories as a means of enhancing developer observability. This approach aids in monitoring and understanding the emergent variability in agent behavior. Additionally, we complement this with LLM-based static analysis techniques to distinguish between intended and unintended behavioral variability. We argue that such instrumentation is essential for giving developers greater control over evolving specifications and for identifying aspects of functionality that may require more precise and explicit definitions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google