Toward Defining a Domain Complexity Measure Across Domains

要約

実世界のアプリケーションへの展開が計画されている人工知能 (AI) システムは、すべての変数が制御されてシミュレーターに認識されるか、ラベル付けされたベンチマーク データセットが使用されるクローズド シミュレーション環境で頻繁に研究および開発されます。
これらのシミュレーター、テストベッド、ベンチマーク データセットから、よりオープンな世界のドメインへの移行は、ドメインの複雑性の大幅な増加や現実世界のノベルティの組み込みなど、AI システムに重大な課題をもたらします。
オープンワールド環境には、AI システムのトレーニング セットに含まれていない多数の分布外要素が含まれています。
ここでは、ドメインの複雑さレベルの一般的な、ドメインに依存しない尺度への道を提案します。
ドメインの複雑さには、内因性と外因性の 2 つの側面があります。
本質的なドメインの複雑さは、そのドメインでタスクを実行する AI エージェントからのアクションや対話なしで、それ自体で存在する複雑さです。
これは、ドメインの複雑さのエージェントに依存しない側面です。
外部ドメインの複雑さは、エージェントおよびタスクに依存します。
組み込み要素と外部要素を組み合わせて、ドメインの全体的な複雑さを捉えます。
ドメインに依存しない観点から、ドメインの複雑さのレベルを定義し影響を与えるコンポーネントを組み立てます。
ドメインに依存しない複雑さの測定により、あるテストベッドまたは環境から別のテストベッドまたは環境に移行するとき、オープンワールドのタスクで分散データに直面するとき、および急速に拡大するソリューションと検索をナビゲートするときに、AI システムにもたらされる困難を定量的に予測できる可能性があります。
オープン ワールド ドメインで遭遇するスペース。

要約(オリジナル)

Artificial Intelligence (AI) systems planned for deployment in real-world applications frequently are researched and developed in closed simulation environments where all variables are controlled and known to the simulator or labeled benchmark datasets are used. Transition from these simulators, testbeds, and benchmark datasets to more open-world domains poses significant challenges to AI systems, including significant increases in the complexity of the domain and the inclusion of real-world novelties; the open-world environment contains numerous out-of-distribution elements that are not part in the AI systems’ training set. Here, we propose a path to a general, domain-independent measure of domain complexity level. We distinguish two aspects of domain complexity: intrinsic and extrinsic. The intrinsic domain complexity is the complexity that exists by itself without any action or interaction from an AI agent performing a task on that domain. This is an agent-independent aspect of the domain complexity. The extrinsic domain complexity is agent- and task-dependent. Intrinsic and extrinsic elements combined capture the overall complexity of the domain. We frame the components that define and impact domain complexity levels in a domain-independent light. Domain-independent measures of complexity could enable quantitative predictions of the difficulty posed to AI systems when transitioning from one testbed or environment to another, when facing out-of-distribution data in open-world tasks, and when navigating the rapidly expanding solution and search spaces encountered in open-world domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google