Graph-PReFLexORを使用したイン・シチュー・グラフ推論と知識拡張

In-situ graph reasoning and knowledge expansion using Graph-PReFLexOR

January 14, 2025

著者: Markus J. Buehler

cs.AI

要旨

自動科学的発見の追求は、記号論理から現代のAIへの進歩を促し、推論とパターン認識の新たなフロンティアを築いてきました。トランスフォーマーは潜在的なシステムとして機能し、あらゆる関係がタスクが制約を課すまで潜在的な可能性として残されます。これは、測定に似たものです。しかし、彼らのサンプリングを洗練させるには確率的選択以上のものが必要です。解決策は特定の構造や規則に従う必要があり、一貫性と一般原則の発動を保証します。私たちは、探索的最適化のためのグラフベースの優先順位付け再帰言語モデリング（Graph-PReFLexOR）というフレームワークを提案します。これは、グラフ推論と象徴的抽象化を組み合わせてドメイン知識を動的に拡張します。強化学習に触発され、Graph-PReFLexORは推論を構造化されたマッピングとして定義し、タスクが知識グラフ、抽象パターン、そして最終的に最終的な答えをもたらすとします。圏論に触発され、それは概念をノードとして、それらの関係をエッジとして符号化し、同型表現を介して階層的推論と適応学習をサポートします。デモンストレーションには、仮説生成、材料設計、および創造的推論が含まれ、例えば「薄い場所」という神話的概念と材料科学の間の関係を発見するものです。私たちは、異なる領域を横断する洞察を統合し、学際的なつながりを促進する「知識の庭の成長」戦略を提案します。30億パラメータのGraph-PReFLexORモデルによる結果は、優れた推論の深さと適応性を示し、透明で多分野のAI駆動の発見の可能性を強調しています。これは一般的な自律推論ソリューションの基盤を築いています。

English

The pursuit of automated scientific discovery has fueled progress from symbolic logic to modern AI, forging new frontiers in reasoning and pattern recognition. Transformers function as potential systems, where every possible relationship remains latent potentiality until tasks impose constraints, akin to measurement. Yet, refining their sampling requires more than probabilistic selection: solutions must conform to specific structures or rules, ensuring consistency and the invocation of general principles. We present Graph-PReFLexOR (Graph-based Preference-based Recursive Language Modeling for Exploratory Optimization of Reasoning), a framework that combines graph reasoning with symbolic abstraction to dynamically expand domain knowledge. Inspired by reinforcement learning, Graph-PReFLexOR defines reasoning as a structured mapping, where tasks yield knowledge graphs, abstract patterns, and ultimately, final answers. Inspired by category theory, it encodes concepts as nodes and their relationships as edges, supporting hierarchical inference and adaptive learning through isomorphic representations. Demonstrations include hypothesis generation, materials design, and creative reasoning, such as discovering relationships between mythological concepts like 'thin places' with materials science. We propose a 'knowledge garden growth' strategy that integrates insights across domains, promoting interdisciplinary connections. Results with a 3-billion-parameter Graph-PReFLexOR model show superior reasoning depth and adaptability, underscoring the potential for transparent, multidisciplinary AI-driven discovery. It lays the groundwork for general autonomous reasoning solutions.