Certaindexを用いてLLM Reasoning Programsを効率的に提供する

要旨

大規模言語モデル（LLMs）の急速な進化により、数学的問題解決、コード生成、法的分析などの高度な推論タスクにおける能力が開かれました。この進歩の中心にあるのは、推論時の推論アルゴリズムであり、複数の解決経路を探索することで出力を洗練させますが、計算要求と応答遅延が増加します。既存のサービングシステムは、これらのアルゴリズムのスケーリング動作やクエリの難易度の変化に適応できず、効率的なリソース利用や遅延目標の達成が困難となっています。 Dynasorは、LLM推論クエリの推論時計算を最適化するシステムです。従来のエンジンとは異なり、Dynasorは推論クエリ内のリクエストを追跡しスケジュールし、モデルの確信度に基づいて統計的推論進捗を測定するプロキシであるCertaindexを使用して、計算割り当てを動的に誘導します。Dynasorはスケジューリングを推論進捗と共に適応させます：難しいクエリにはより多くの計算を割り当て、より簡単なクエリには計算を減らし、見込みのないクエリを早期に終了させ、精度、遅延、コストをバランスさせます。様々なデータセットやアルゴリズムにおいて、Dynasorはバッチ処理において最大50％の計算削減を実現し、オンラインサービングにおいては3.3倍のクエリ率の向上や4.7倍のより厳密な遅延SLOを維持します。

English

The rapid evolution of large language models (LLMs) has unlocked their capabilities in advanced reasoning tasks like mathematical problem-solving, code generation, and legal analysis. Central to this progress are inference-time reasoning algorithms, which refine outputs by exploring multiple solution paths, at the cost of increasing compute demands and response latencies. Existing serving systems fail to adapt to the scaling behaviors of these algorithms or the varying difficulty of queries, leading to inefficient resource use and unmet latency targets. We present Dynasor, a system that optimizes inference-time compute for LLM reasoning queries. Unlike traditional engines, Dynasor tracks and schedules requests within reasoning queries and uses Certaindex, a proxy that measures statistical reasoning progress based on model certainty, to guide compute allocation dynamically. Dynasor co-adapts scheduling with reasoning progress: it allocates more compute to hard queries, reduces compute for simpler ones, and terminates unpromising queries early, balancing accuracy, latency, and cost. On diverse datasets and algorithms, Dynasor reduces compute by up to 50% in batch processing and sustaining 3.3x higher query rates or 4.7x tighter latency SLOs in online serving.

Certaindexを用いてLLM Reasoning Programsを効率的に提供する

Efficiently Serving LLM Reasoning Programs with Certaindex

要旨

Summary

Support