φ-Decoding: Adaptives Vorausschauendes Sampling für Ausgewogene Inferenz-Zeit-Exploration und -Exploitation

φ-Decoding: Adaptive Foresight Sampling for Balanced Inference-Time Exploration and Exploitation

March 17, 2025

Autoren: Fangzhi Xu, Hang Yan, Chang Ma, Haiteng Zhao, Jun Liu, Qika Lin, Zhiyong Wu

cs.AI

Zusammenfassung

Inference-Zeit-Optimierung skaliert die Berechnung, um gezielte Denkschritte für eine effektive Leistung abzuleiten. Während bisherige suchbasierte Strategien die Kurzsichtigkeit der autoregressiven Generierung angehen, führt der riesige Suchraum zu übermäßiger Exploration und unzureichender Ausnutzung. Um ein effizientes Gleichgewicht zu finden und den optimalen Schritt abzuleiten, formulieren wir die Dekodierungsstrategie als Vorausschau-Sampling, das simulierte zukünftige Schritte nutzt, um eine global optimale Schätzung des Schritts zu erhalten. Darauf aufbauend schlagen wir eine neuartige Dekodierungsstrategie namens phi-Decoding vor. Um eine präzise und ausdrucksstarke Schätzung des Schrittwerts zu liefern, approximiert phi-Decoding zwei Verteilungen durch Vorausschau und Clustering. Durch das Sampling aus der gemeinsamen Verteilung können die optimalen Schritte für die Ausnutzung ausgewählt werden. Um eine adaptive Berechnungszuweisung zu unterstützen, schlagen wir In-Breite- und In-Tiefe-Beschneidungsstrategien vor, die eine leichtgewichtige Lösung zur Erreichung von Inferenz-Effizienz bieten. Umfangreiche Experimente über sieben Benchmarks zeigen, dass phi-Decoding starke Baselines sowohl in der Leistung als auch in der Effizienz übertrifft. Zusätzliche Analysen demonstrieren seine Generalisierbarkeit über verschiedene LLMs und Skalierbarkeit über ein breites Spektrum von Rechenbudgets. Der Code wird unter https://github.com/xufangzhi/phi-Decoding veröffentlicht, und das Open-Source-PyPI-Paket wird in Kürze verfügbar sein.

English

Inference-time optimization scales computation to derive deliberate reasoning steps for effective performance. While previous search-based strategies address the short-sightedness of auto-regressive generation, the vast search space leads to excessive exploration and insufficient exploitation. To strike an efficient balance to derive the optimal step, we frame the decoding strategy as foresight sampling, leveraging simulated future steps to obtain globally optimal step estimation. Built on it, we propose a novel decoding strategy, named phi-Decoding. To provide a precise and expressive estimation of step value, phi-Decoding approximates two distributions via foresight and clustering. Sampling from the joint distribution, the optimal steps can be selected for exploitation. To support adaptive computation allocation, we propose in-width and in-depth pruning strategies, featuring a light-weight solution to achieve inference efficiency. Extensive experiments across seven benchmarks show phi-Decoding outperforms strong baselines in both performance and efficiency. Additional analysis demonstrates its generalization across various LLMs and scalability across a wide range of computing budgets. The code will be released at https://github.com/xufangzhi/phi-Decoding, and the open-source PyPI package is coming soon.