L’evoluzione dell’enteprise architecture: scalare l’AI grazie a Model Context Protocol e Agent2Agent.
)
Agenti AI long-running: progettazione di sistemi multi-agente per attività autonoma prolungata
Una guida alla progettazione di sistemi multi-agente long-running che mantengono affidabilità nel tempo attraverso una gestione deliberata della memoria, strategie di cancellazione, orchestrazione dei workflow e ottimizzazione del consumo di token.
Da configurazioni a modello singolo ad ambienti orchestrati
Le architetture dei sistemi AI hanno fatto progressi significativi dal 2023, passando da semplici configurazioni a modello singolo ad ambienti orchestrati complessi, capaci di operare in autonomia per periodi prolungati. Le prime implementazioni AI si basavano su un unico modello linguistico di grandi dimensioni, responsabile di ogni attività all'interno di una conversazione. Questo approccio ha lasciato il posto ai sistemi multi-agente, in cui un agente pianificatore distribuisce le attività tra più agenti, ciascuno dotato di competenze e strumenti specializzati.
L'evoluzione più recente è il sistema multi-agente long-running, in cui un agente pianificatore distribuisce iterativamente le attività tra più agenti su intervalli di esecuzione prolungati, introducendo nuove sfide in termini di memoria, costi e affidabilità. Il passaggio agli agenti long-running comporta sfide ingegneristiche specifiche che non esistono nelle interazioni di breve durata. Queste sfide riguardano il Context Rot, il consumo di risorse e la resilienza del workflow.
Gestione della memoria negli agenti long-running
Una gestione efficace della memoria è fondamentale per il successo di qualsiasi sistema di agenti AI long-running. Con l'estendersi del tempo di esecuzione, la finestra di contesto diventa una risorsa critica che richiede decisioni architetturali deliberate.
Tre tipi di memoria
Memoria del singolo agente
Tutti i dati di cui un agente ha bisogno per svolgere le attività assegnate all'interno del proprio ambito operativo.Memoria condivisa
L'insieme dei dati dell'intero workflow eseguito dal pianificatore, accessibile a tutti gli agenti.Memoria a lungo termine
Dati che devono essere archiviati e recuperati tra una sessione e l'altra, persistendo oltre ogni singolo ciclo di esecuzione.
Ogni tipo di memoria svolge una funzione specifica nell'architettura complessiva. La memoria del singolo agente mantiene i singoli agenti concentrati ed efficienti. La memoria condivisa consente il coordinamento tra agenti che lavorano su sotto-attività correlate. La memoria a lungo termine garantisce continuità tra le sessioni, permettendo al sistema di basarsi sul lavoro precedente senza ripetere passaggi già completati.
Quattro problemi critici della memoria
Context Rot
Il deterioramento progressivo della qualità e dell'utilità del contesto nel tempo, man mano che la finestra di contesto si riempie di informazioni accumulate.Lost in the Middle
Distorsione posizionale per cui i modelli linguistici di grandi dimensioni sottovalutano le informazioni posizionate nella parte centrale di finestre di contesto lunghe.Inquinamento della memoria
Contaminazione dello spazio di memoria con concetti errati acquisiti durante l'esecuzione, che si propagano nei passaggi di ragionamento successivi.Deriva contestuale
L'agente continua a fare riferimento a dati obsoleti perché la sua memoria non è stata aggiornata correttamente con le informazioni attuali.
Questi problemi di memoria si aggravano nel tempo. Nelle interazioni brevi possono essere trascurabili. Nelle operazioni long-running, che si protraggono per ore o giorni, possono rendere l'intero sistema inaffidabile. Il Context Rot erode gradualmente la base su cui si fonda tutto il ragionamento successivo. L'effetto Lost in the Middle fa sì che le informazioni critiche posizionate nella parte centrale di una finestra di contesto in crescita ricevano un'attenzione decrescente da parte del modello. L'inquinamento della memoria è particolarmente insidioso: una volta che un concetto errato entra nello spazio di memoria condivisa, si propaga nei passaggi di ragionamento successivi e contamina gli output degli agenti a valle. La deriva contestuale crea una modalità di errore più sottile, in cui l'agente continua a operare con apparente sicurezza facendo riferimento a informazioni che non riflettono più lo stato attuale dell'attività.
Oblio programmato: riduzione strategica della memoria
Dimenticare non è un errore di funzionamento, ma un requisito ingegneristico obbligatorio. L'implementazione di strategie di cancellazione deliberata garantisce che gli agenti long-running mantengano la qualità del contesto per l'intera durata operativa.
Compattazione
La compattazione è la riduzione periodica della cronologia delle interazioni. Preserva i dati essenziali eliminando tutto ciò che non contribuisce più al completamento dell'attività. Questo processo può essere attivato da intervalli temporali, soglie di utilizzo della finestra di contesto o traguardi di completamento delle attività.
Pulizia dei risultati
Man mano che gli agenti eseguono strumenti e accumulano output intermedi, questi risultati diventano rapidamente obsoleti o ridondanti. La pulizia dei risultati degli strumenti elimina questi stati intermedi obsoleti e rimuove le informazioni erronee accumulate durante l'esecuzione degli strumenti, impedendo che influenzino il ragionamento futuro.
Pattern Memory Shrinker
Il pattern Memory Shrinker prevede l'utilizzo di un modello linguistico di grandi dimensioni dedicato, in esecuzione in background, che monitora la percentuale di saturazione della finestra di contesto ed esegue una sintesi automatica senza perdita di informazioni critiche. Assegnando un modello separato al monitoraggio e alla compressione continua del contesto, gli agenti principali mantengono l'efficienza operativa senza intervento manuale. Il Memory Shrinker opera in modo trasparente, garantendo che gli agenti operativi non raggiungano mai i limiti della finestra di contesto, che causerebbero un troncamento brusco o un errore.
Gestione del workflow per agenti long-running
L'architettura del flusso di orchestrazione determina sia l'affidabilità sia il profilo di costo di un sistema di agenti long-running. Esiste una differenza significativa tra approcci non strutturati e approcci ben progettati.
Prompting non strutturato vs. workflow ben progettato
Un approccio non strutturato comporta un basso costo iniziale di configurazione, ma si traduce in costi di manutenzione elevati, consumo eccessivo di token e un rischio maggiore di allucinazioni e output errati. Senza un'orchestrazione strutturata, gli agenti operano senza confini chiari, duplicano gli sforzi e consumano token in cicli di ragionamento improduttivi.
Un workflow ben progettato segue un ciclo strutturato. L'input dell'attività viene prima ricevuto e analizzato dall'agente pianificatore, che crea le sotto-attività appropriate in base ai requisiti dell'input. Il pianificatore gestisce la creazione o la selezione degli agenti per ciascuna sotto-attività, determinando se procedere con l'esecuzione parallela o sequenziale in base alle dipendenze tra le attività. Una volta che gli agenti producono i loro output, il pianificatore valuta i risultati rispetto a criteri di qualità. A ogni confine di iterazione, il contesto della memoria viene valutato e la riduzione viene applicata secondo necessità. L'intero ciclo si ripete fino al raggiungimento della qualità di output desiderata, creando un ciclo autocorrettivo che migliora progressivamente i risultati.
Requisiti essenziali del workflow
Tre capacità sono essenziali per qualsiasi workflow di agenti long-running in produzione. I checkpoint consentono la ripresa del flusso dopo interruzioni, evitando la necessità di riavviare l'intero processo e preservando tutti i progressi compiuti prima dell'interruzione. La gestione degli errori garantisce il trattamento controllato di errori degli strumenti, errori del server e stati imprevisti, senza errori a cascata che potrebbero compromettere l'intera catena di esecuzione. La capacità di interazione umana permette di mettere in pausa l'esecuzione, richiedere input umano e riprendere in base alle indicazioni ricevute, quando l'incertezza supera le soglie accettabili. Questo garantisce che il sistema degradi in modo controllato anziché produrre output inaffidabili di fronte a situazioni nuove.
Ottimizzazione del consumo di token
Controllare il consumo di token è essenziale per rendere gli agenti long-running economicamente sostenibili. Quattro strategie complementari affrontano questa sfida.
Attività diverse richiedono capacità di modello diverse. I modelli di frontiera vanno riservati alle attività di ragionamento complesso, mentre modelli più piccoli o ospitati localmente gestiscono operazioni più semplici come la formattazione dei dati, la classificazione o l'estrazione di routine. Questa distribuzione selettiva riduce i costi senza compromettere la qualità dell'output dove è più importante. L'agente pianificatore svolge un ruolo critico in questo contesto: valuta la complessità di ciascuna sotto-attività e la indirizza al modello più conveniente in grado di produrre risultati accettabili.
I livelli adattivi di ragionamento permettono al sistema di calibrare l'intensità computazionale in base alla complessità dell'attività. Il ragionamento basso è appropriato per attività semplici, ben definite e con ambiguità minima. Il ragionamento medio è adatto ad attività che richiedono un'interpretazione moderata o una logica a più passaggi. Il ragionamento alto è riservato alle attività complesse che richiedono un'analisi approfondita e una valutazione accurata. Abbinando l'intensità del ragionamento ai requisiti effettivi, il sistema evita di impiegare risorse computazionali costose per attività che non ne traggono beneficio.
Il Caveman Prompting è una strategia di prompting che elimina la verbosità dei modelli linguistici di grandi dimensioni imponendo una formattazione minima dell'output. Questa tecnica rimuove articoli, riformulazioni di cortesia e frasi esplicative non necessarie dalle risposte del modello. Il nome riflette lo stile di comunicazione telegrafico imposto al modello, che privilegia la densità informativa rispetto alla completezza grammaticale.
Il risultato è una riduzione significativa dei token in output per ogni interazione, che si traduce in risparmi consistenti su migliaia di iterazioni in un sistema long-running. Quando ogni risposta di ogni agente, a ogni iterazione, consuma meno token, l'effetto cumulativo su costi e utilizzo della finestra di contesto è sostanziale.
Il contesto dell'agente che risulta voluminoso e a bassa precisione (turni di conversazione precedenti, log, documentazione ripetuta degli strumenti, output di grandi dimensioni) può essere convertito in immagini prima dell'invio al modello. I token delle immagini hanno un prezzo e un conteggio diversi rispetto ai token testuali: una pagina densa convertita in un'immagine a dimensione fissa può essere significativamente più economica del flusso equivalente di token in formato testo. Questa tecnica funziona come compressione con perdita, non come sintesi. La forma visiva del contenuto viene preservata, ma l'accesso del modello diventa probabilistico: può cogliere il senso generale correttamente, ma può leggere erroneamente un carattere rilevante. Qualsiasi valore su cui l'agente agirà come valore esatto (percorsi di file, ID, ecc.) deve rimanere in formato testo. Il contesto comprimibile comprende solo informazioni in cui l'orientamento generale conta più della precisione a livello di singolo byte.
I team che adottano questa tecnica necessitano di un livello di contabilità del contesto (classi di precisione, verifiche di richiamo e puntatori alle fonti) per proteggersi da errori di lettura silenziosi. L'aspetto economico è chiaro: le immagini trasportano più contesto con meno token e questo le rende il modo più economico per mantenere gli agenti informati.
Mantenere l'efficienza nei sistemi di agenti long-running
La gestione della memoria va trattata come un requisito ingegneristico obbligatorio. Il Context Rot, l'inquinamento della memoria e la deriva contestuale comprometteranno qualsiasi sistema long-running privo di strategie di cancellazione deliberata. Il pattern Memory Shrinker, la compattazione e la pulizia dei risultati degli strumenti formano insieme un approccio completo al mantenimento della qualità del contesto durante operazioni prolungate.
L'architettura del workflow merita un investimento iniziale significativo. Un agente pianificatore robusto evita costi operativi ricorrenti elevati prevenendo elaborazioni ridondanti, gestendo gli errori in modo controllato e integrando la capacità di interazione umana nei punti decisionali critici. Lo sforzo ingegneristico iniziale produce benefici per l'intera vita operativa del sistema.
L'ottimizzazione del consumo di token richiede un approccio su più fronti: selezionare il modello appropriato per ogni tipo di attività, calibrare i livelli di ragionamento in base alla complessità e impiegare tecniche di prompting per la riduzione dei token. L'obiettivo generale è ridurre i costi e l'intensità computazionale, creando al contempo soluzioni di agenti long-running sostenibili e affidabili.
Blue Reply realizza architetture di agenti AI long-running che integrano strategie di gestione della memoria, orchestrazione dei workflow e ottimizzazione dei token in sistemi multi-agente. I team di ingegneria collaborano con organizzazioni di diversi settori, implementando questi pattern in ambienti di produzione.
Domande Frequenti
Blue Reply è la società del Gruppo Reply che offre servizi di system integration e modernizzazione dei sistemi core per il mercato assicurativo, con competenze che spaziano dai rami Danni (Property & Casualty) e Vita alla gestione dei sinistri, dal CRM alla Bancassurance, fino ai servizi Beyond Insurance negli ambiti Property, Mobility, Health e Assistance. Combinando una solida conoscenza dei processi assicurativi con competenze tecnologiche avanzate, Blue Reply realizza applicazioni omnicanale dedicate ad agenti, dipendenti, broker, prospect e assicurati. Le competenze specifiche per il settore includono l’integrazione di soluzioni per la gestione del portafoglio, motori di rating e pricing e servizi di firma elettronica. Blue Reply ha inoltre sviluppato asset proprietari, tra cui BlueScan e altre piattaforme, che supportano l’intero ciclo assicurativo, dalla preventivazione e vendita delle polizze alla gestione dei sinistri e delle attività CRM. Queste soluzioni integrano workflow basati su AI conversazionale, con l’obiettivo di migliorare l’esperienza digitale e aumentare l’efficienza operativa. Blue Reply sta infine ampliando l’adozione dell’intelligenza artificiale attraverso motori di raccomandazione, soluzioni per l’acquisizione intelligente dei dati, tecnologie per il riconoscimento e la stima dei danni e strumenti per il rilevamento e la prevenzione delle frodi.