Hephaestus: Mejorando las Capacidades Fundamentales del Agente de Modelos de Lenguaje Grandes a través del Pre-entrenamiento Continuo

Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training

February 10, 2025

Autores: Yuchen Zhuang, Jingfeng Yang, Haoming Jiang, Xin Liu, Kewei Cheng, Sanket Lokegaonkar, Yifan Gao, Qing Ping, Tianyi Liu, Binxuan Huang, Zheng Li, Zhengyang Wang, Pei Chen, Ruijie Wang, Rongzhi Zhang, Nasser Zalmout, Priyanka Nigam, Bing Yin, Chao Zhang

cs.AI

Resumen

Debido a la escasez de datos de pre-entrenamiento orientados a agentes, los agentes autónomos basados en LLM suelen depender de indicaciones complejas o un extenso ajuste fino, lo cual a menudo no logra introducir nuevas capacidades manteniendo una fuerte capacidad de generalización. Presentamos Hephaestus-Forge, el primer corpus de pre-entrenamiento a gran escala diseñado para mejorar las capacidades fundamentales de los agentes LLM en la llamada a funciones de API, razonamiento intrínseco y planificación, y adaptación a retroalimentación ambiental. Hephaestus-Forge consta de 103 mil millones de datos específicos de agentes que abarcan 76,537 APIs, incluyendo tanto documentación de herramientas para introducir conocimiento de funciones de API como trayectorias de llamadas a funciones para fortalecer el razonamiento intrínseco. Para explorar protocolos de entrenamiento efectivos, investigamos leyes de escalado para identificar la receta óptima en ratios de mezcla de datos. Al continuar el pre-entrenamiento en Hephaestus-Forge, Hephaestus supera a LLMs de código abierto de pequeña a mediana escala y rivaliza con LLMs comerciales en tres pruebas de agentes, demostrando la efectividad de nuestro corpus de pre-entrenamiento en mejorar las capacidades agentes fundamentales y la generalización de LLMs a nuevas tareas o entornos.

English

Due to the scarcity of agent-oriented pre-training data, LLM-based autonomous agents typically rely on complex prompting or extensive fine-tuning, which often fails to introduce new capabilities while preserving strong generalizability. We introduce Hephaestus-Forge, the first large-scale pre-training corpus designed to enhance the fundamental capabilities of LLM agents in API function calling, intrinsic reasoning and planning, and adapting to environmental feedback. Hephaestus-Forge comprises 103B agent-specific data encompassing 76,537 APIs, including both tool documentation to introduce knowledge of API functions and function calling trajectories to strengthen intrinsic reasoning. To explore effective training protocols, we investigate scaling laws to identify the optimal recipe in data mixing ratios. By continual pre-training on Hephaestus-Forge, Hephaestus outperforms small- to medium-scale open-source LLMs and rivals commercial LLMs on three agent benchmarks, demonstrating the effectiveness of our pre-training corpus in enhancing fundamental agentic capabilities and generalization of LLMs to new tasks or environments.