EpiCoder: Comprendere la diversità e la complessità nella generazione di codice

EpiCoder: Encompassing Diversity and Complexity in Code Generation

January 8, 2025

Autori: Yaoxiang Wang, Haoling Li, Xin Zhang, Jie Wu, Xiao Liu, Wenxiang Hu, Zhongxin Guo, Yangyu Huang, Ying Xin, Yujiu Yang, Jinsong Su, Qi Chen, Scarlett Li

cs.AI

Abstract

L'ottimizzazione efficace dell'istruzione è indispensabile per ottimizzare i modelli di codice LLM, allineare il comportamento del modello alle aspettative dell'utente e migliorare le prestazioni del modello nelle applicazioni del mondo reale. Tuttavia, la maggior parte dei metodi esistenti si concentra su frammenti di codice, che sono limitati a funzionalità specifiche e a strutture rigide, limitando la complessità e la diversità dei dati sintetizzati. Per affrontare queste limitazioni, introduciamo un nuovo framework di sintesi basato su alberi di caratteristiche ispirato agli Alberi di Sintassi Astratta (AST). A differenza degli AST, che catturano la struttura sintattica del codice, il nostro framework modella le relazioni semantiche tra gli elementi del codice, consentendo la generazione di dati più sfumati e diversificati. L'albero delle caratteristiche è costruito dai dati grezzi e affinato iterativamente per aumentare la quantità e la diversità delle caratteristiche estratte. Questo processo consente l'identificazione di pattern e relazioni più complessi all'interno del codice. Campionando sottoalberi con profondità e ampiezza controllate, il nostro framework consente aggiustamenti precisi alla complessità del codice generato, supportando una vasta gamma di compiti, dalle operazioni di livello di funzione semplice a scenari multi-file complessi. Abbiamo ottimizzato modelli di base ampiamente utilizzati per creare la serie EpiCoder, raggiungendo prestazioni all'avanguardia sia a livello di funzione che di file su diversi benchmark. In particolare, le prove empiriche indicano che il nostro approccio mostra un significativo potenziale nella sintesi di dati di codice a livello di repository altamente complessi. Ulteriori analisi chiariscono i meriti di questo approccio valutando rigorosamente la complessità e la diversità dei dati attraverso principi di ingegneria del software e il metodo LLM-come-giudice.

English

Effective instruction tuning is indispensable for optimizing code LLMs, aligning model behavior with user expectations and enhancing model performance in real-world applications. However, most existing methods focus on code snippets, which are limited to specific functionalities and rigid structures, restricting the complexity and diversity of the synthesized data. To address these limitations, we introduce a novel feature tree-based synthesis framework inspired by Abstract Syntax Trees (AST). Unlike AST, which captures syntactic structure of code, our framework models semantic relationships between code elements, enabling the generation of more nuanced and diverse data. The feature tree is constructed from raw data and refined iteratively to increase the quantity and diversity of the extracted features. This process enables the identification of more complex patterns and relationships within the code. By sampling subtrees with controlled depth and breadth, our framework allows precise adjustments to the complexity of the generated code, supporting a wide range of tasks from simple function-level operations to intricate multi-file scenarios. We fine-tuned widely-used base models to create the EpiCoder series, achieving state-of-the-art performance at both the function and file levels across multiple benchmarks. Notably, empirical evidence indicates that our approach shows significant potential in synthesizing highly complex repository-level code data. Further analysis elucidates the merits of this approach by rigorously assessing data complexity and diversity through software engineering principles and LLM-as-a-judge method.