Il limite nascosto che sta per interrompere il lancio dei tuoi agenti

Le aziende che vogliono sviluppare e ampliare gli agenti devono anche accettare un'altra realtà: gli agenti non sono progettati come gli altri software.

Secondo May Habib, CEO e co-fondatrice di Writer , gli agenti sono "categoricamente diversi" nel modo in cui vengono progettati, nel loro funzionamento e nel modo in cui vengono migliorati. Questo significa abbandonare il tradizionale ciclo di vita dello sviluppo software quando si ha a che fare con sistemi adattivi.

"Gli agenti non seguono le regole in modo affidabile", ha detto Habib mercoledì sul palco del VB Transform . "Sono orientati ai risultati. Interpretano. Si adattano. E il comportamento emerge solo in contesti reali."

Sapere cosa funziona e cosa non funziona deriva dall'esperienza di Habib nell'aiutare centinaia di clienti aziendali a creare e scalare agenti di livello enterprise. Secondo Habib, oltre 350 delle aziende Fortune 1000 sono clienti Writer e più della metà delle aziende Fortune 500 utilizzerà Writer per scalare i propri agenti entro la fine del 2025.

Utilizzare tecnologie non deterministiche per produrre output potenti può persino essere "davvero un incubo", ha affermato Habib, soprattutto quando si cerca di scalare gli agenti in modo sistematico. Anche se i team aziendali possono avviare agenti senza product manager e designer, Habib ritiene che una "mentalità da project manager" sia comunque necessaria per collaborare, costruire, iterare e gestire gli agenti.

"Purtroppo o per fortuna, a seconda del punto di vista, l'IT si troverà con il cerino in mano se non guiderà le controparti aziendali verso questo nuovo modo di costruire."

>> Scopri qui tutta la nostra copertura di Transform 2025 <<

Uno dei cambiamenti di mentalità riguarda la comprensione della natura degli agenti basata sui risultati. Ad esempio, ha affermato che molti clienti richiedono agli agenti di assistere i loro team legali nella revisione o revisione dei contratti. Ma questo è troppo aperto. Un approccio orientato agli obiettivi significa invece progettare un agente in grado di ridurre il tempo dedicato alla revisione e alla revisione dei contratti.

"Nel tradizionale ciclo di vita dello sviluppo software, si progetta per un insieme deterministico di passaggi molto prevedibili", ha affermato Habib. "L'input in entrata e l'input in uscita sono più deterministici. Ma con gli agenti, si cerca di modellare il comportamento agentivo. Quindi si cerca meno un flusso controllato e molto di più per fornire contesto e guidare il processo decisionale dell'agente."

Un'altra differenza è la creazione di un modello per gli agenti che fornisca loro istruzioni sulla logica di business, anziché fornire loro flussi di lavoro da seguire. Ciò include la progettazione di cicli di ragionamento e la collaborazione con esperti del settore per mappare i processi che promuovono i comportamenti desiderati.

Sebbene si parli molto di agenti scalabili, Writer continua ad aiutare la maggior parte dei clienti a crearne uno alla volta. Questo perché è importante innanzitutto rispondere a domande su chi possiede e controlla l'agente, chi si assicura che rimanga rilevante e verifica che continui a produrre i risultati desiderati.

"Senza un nuovo approccio alla creazione e al ridimensionamento degli agenti, le persone si trovano a dover affrontare un baratro di scalabilità", ha affermato Habib. "Si arriverà a un baratro quando la capacità della propria organizzazione di gestire gli agenti in modo responsabile supererà di gran lunga il ritmo dello sviluppo in atto, reparto per reparto."

Anche la garanzia della qualità è diversa per gli agenti. Invece di una checklist oggettiva, la valutazione agentica include la considerazione del comportamento non binario e la valutazione di come gli agenti agiscono in situazioni reali. Questo perché il fallimento non è sempre ovvio, e non è così netto e netto come controllare se qualcosa si è rotto. Habib ha invece affermato che è meglio verificare se un agente si è comportato bene, chiedendosi se i sistemi di sicurezza hanno funzionato, valutandone i risultati e l'intento: "L'obiettivo qui non è la perfezione. È la fiducia nel comportamento, perché c'è molta soggettività in questo".

Le aziende che non comprendono l'importanza dell'iterazione finiscono per giocare "una partita a tennis continua che logora entrambe le parti fino a quando non ne hanno più voglia", ha affermato Habib. È anche importante che i team accettino agenti non proprio perfetti e si concentrino piuttosto sul "lanciarli in modo sicuro, farli funzionare velocemente e ripetere l'iterazione più e più volte".

Nonostante le difficoltà, ci sono già esempi di agenti di intelligenza artificiale che contribuiscono a generare nuove entrate per le aziende. Ad esempio, Habib ha menzionato un'importante banca che ha collaborato con Writer per sviluppare un sistema basato su agenti, dando vita a una nuova pipeline di upselling del valore di 600 milioni di dollari, grazie all'onboarding di nuovi clienti in diverse linee di prodotto.

Anche la manutenzione agentica è diversa. La manutenzione software tradizionale prevede il controllo del codice quando qualcosa si rompe, ma Habib ha affermato che gli agenti di intelligenza artificiale richiedono un nuovo tipo di controllo di versione per tutto ciò che può influenzare il comportamento. Richiede anche una governance adeguata e la garanzia che gli agenti rimangano utili nel tempo, anziché incorrere in costi inutili.

Poiché i modelli non si adattano perfettamente agli agenti di intelligenza artificiale, Habib ha affermato che la manutenzione include il controllo dei prompt, delle impostazioni del modello, degli schemi degli strumenti e della configurazione della memoria. Significa anche tracciare completamente le esecuzioni tra input, output, fasi di ragionamento, chiamate degli strumenti e interazioni umane.

"È possibile aggiornare un prompt LLM [di un modello linguistico di grandi dimensioni] e osservare il comportamento dell'agente in modo completamente diverso, anche se nella cronologia di Git non è cambiato nulla", ha affermato Habib. "I link del modello cambiano, gli indici di recupero vengono aggiornati, le API degli strumenti si evolvono e improvvisamente lo stesso prompt non si comporta come previsto... Sembra quasi di stare eseguendo il debug di fantasmi."