Generazione di un flusso di lavoro completo a basso codice tramite decomposizione delle attività e RAG.

Generating a Low-code Complete Workflow via Task Decomposition and RAG

November 29, 2024

Autori: Orlando Marquez Ayala, Patrice Béchard

cs.AI

Abstract

Le tecnologie dell'IA stanno rapidamente passando dalla ricerca alla produzione. Con la popolarità dei Modelli Fondamentali (MF) che generano testo, immagini e video, i sistemi basati sull'IA stanno aumentando la loro complessità. Rispetto al software tradizionale basato sull'IA, i sistemi che impiegano MF, o sistemi basati su GenAI, sono più difficili da progettare a causa della loro scala e versatilità. Ciò rende necessario documentare le migliori pratiche, note come modelli di progettazione nell'ingegneria del software, che possono essere utilizzate in tutte le applicazioni GenAI. Il nostro primo contributo è quello di formalizzare due tecniche, la Decomposizione dei Compiti e la Generazione con Recupero Potenziato (RAG), come modelli di progettazione per i sistemi basati su GenAI. Discutiamo i loro compromessi in termini di attributi di qualità del software e commentiamo su approcci alternativi. Raccomandiamo agli operatori dell'IA di considerare queste tecniche non solo da un punto di vista scientifico ma anche dal punto di vista delle proprietà ingegneristiche desiderate come flessibilità, manutenibilità, sicurezza e protezione. Come secondo contributo, descriviamo la nostra esperienza industriale nell'applicare la Decomposizione dei Compiti e la RAG per costruire un'applicazione GenAI complessa del mondo reale per gli utenti aziendali: Generazione di Flussi di Lavoro. Il compito di generare flussi di lavoro comporta la creazione di un piano specifico utilizzando i dati dall'ambiente di sistema, prendendo come input un requisito dell'utente. Poiché questi due modelli influenzano l'intero ciclo di sviluppo dell'IA, spieghiamo come abbiano inciso sulla creazione del dataset, l'addestramento del modello, la valutazione del modello e le fasi di distribuzione.

English

AI technologies are moving rapidly from research to production. With the popularity of Foundation Models (FMs) that generate text, images, and video, AI-based systems are increasing their complexity. Compared to traditional AI-based software, systems employing FMs, or GenAI-based systems, are more difficult to design due to their scale and versatility. This makes it necessary to document best practices, known as design patterns in software engineering, that can be used across GenAI applications. Our first contribution is to formalize two techniques, Task Decomposition and Retrieval-Augmented Generation (RAG), as design patterns for GenAI-based systems. We discuss their trade-offs in terms of software quality attributes and comment on alternative approaches. We recommend to AI practitioners to consider these techniques not only from a scientific perspective but also from the standpoint of desired engineering properties such as flexibility, maintainability, safety, and security. As a second contribution, we describe our industry experience applying Task Decomposition and RAG to build a complex real-world GenAI application for enterprise users: Workflow Generation. The task of generating workflows entails generating a specific plan using data from the system environment, taking as input a user requirement. As these two patterns affect the entire AI development cycle, we explain how they impacted the dataset creation, model training, model evaluation, and deployment phases.