Gli agenti dati di Google Cloud promettono di porre fine al problema dell'80% di lavoro che affligge i team di dati aziendali

I dati non compaiono magicamente nel posto giusto per l'analisi aziendale o l'intelligenza artificiale, ma devono essere preparati e indirizzati tramite pipeline di dati. Questo è il campo d'azione dell'ingegneria dei dati, che è da tempo uno dei compiti più ingrati e noiosi che le aziende devono affrontare.

Oggi, Google Cloud affronta direttamente la noia della preparazione dei dati con il lancio di una serie di agenti di intelligenza artificiale. I nuovi agenti coprono l'intero ciclo di vita dei dati. Il Data Engineering Agent di BigQuery automatizza la creazione di pipeline complesse tramite comandi in linguaggio naturale. Un Data Science Agent trasforma i notebook in spazi di lavoro intelligenti in grado di eseguire autonomamente flussi di lavoro di machine learning. Il Conversational Analytics Agent migliorato include ora un interprete di codice che gestisce analisi Python avanzate per gli utenti aziendali.

"Quando penso a chi si occupa di data engineering oggi, non mi riferisco solo a ingegneri, analisti di dati, data scientist: ogni data person si lamenta di quanto sia difficile reperire dati, di quanto sia difficile gestirli, di quanto sia difficile accedere a dati di alta qualità", ha dichiarato a VentureBeat Yasmeen Ahmad, amministratore delegato del data cloud di Google Cloud. "La maggior parte dei flussi di lavoro di cui sentiamo parlare dai nostri utenti è impantanata per l'80% in quei lavori faticosi che riguardano la gestione dei dati, l'ingegneria e l'ottenimento di dati di buona qualità con cui poter lavorare".

Google ha sviluppato il Data Engineering Agent in BigQuery per creare pipeline di dati complesse tramite prompt in linguaggio naturale. Gli utenti possono descrivere flussi di lavoro multi-step e l'agente gestisce l'implementazione tecnica. Ciò include l'acquisizione di dati dall'archiviazione cloud, l'applicazione di trasformazioni e l'esecuzione di controlli di qualità.

L'agente scrive automaticamente script SQL e Python complessi. Gestisce il rilevamento delle anomalie, pianifica le pipeline e risolve i guasti. Queste attività richiedono tradizionalmente competenze ingegneristiche significative e una manutenzione continua.

L'agente scompone le richieste in linguaggio naturale in più fasi. Innanzitutto, comprende la necessità di creare connessioni alle fonti dati. Quindi, crea strutture di tabella appropriate, carica i dati, identifica le chiavi primarie per i join, motiva i problemi di qualità dei dati e applica funzioni di pulizia.

"Normalmente, l'intero flusso di lavoro avrebbe richiesto la scrittura di un sacco di codice complesso per un data engineer, la creazione di questa complessa pipeline e la successiva gestione e iterazione di tale codice nel tempo", ha spiegato Ahmad. "Ora, con l'agente di data engineering, è possibile creare nuove pipeline per il linguaggio naturale. È possibile modificare quelle esistenti. È possibile risolvere i problemi".

Gli ingegneri dei dati sono spesso un gruppo di persone molto pratiche.

I vari strumenti comunemente utilizzati per creare una pipeline di dati, tra cui streaming di dati, orchestrazione, qualità e trasformazione, non scompaiono con il nuovo agente di data engineering.

"Gli ingegneri sono ancora consapevoli di questi strumenti di base, perché ciò che vediamo dal modo in cui operano gli addetti ai dati è che sì, amano l'agente e lo vedono come un esperto, un partner e un collaboratore", ha affermato Ahmad. "Ma spesso i nostri ingegneri vogliono effettivamente vedere il codice, vogliono effettivamente vedere visivamente le pipeline create da questi agenti".

Pertanto, mentre gli agenti di data engineering possono lavorare in modo autonomo, gli ingegneri dei dati possono effettivamente vedere cosa sta facendo l'agente. Ha spiegato che i professionisti dei dati spesso esaminano il codice scritto dall'agente e poi forniscono ulteriori suggerimenti all'agente per modificare o personalizzare ulteriormente la pipeline dei dati.

Sono numerosi i fornitori nel settore dei dati che stanno sviluppando flussi di lavoro di intelligenza artificiale agentica.

Startup come Altimate AI stanno sviluppando agenti specifici per i flussi di lavoro dei dati. Grandi fornitori, tra cui Databricks , Snowflake e Microsoft, stanno sviluppando le proprie tecnologie di intelligenza artificiale agentica, in grado di supportare anche i professionisti dei dati.

L'approccio di Google è leggermente diverso, in quanto sta sviluppando i suoi servizi di intelligenza artificiale agentica per i dati con la sua API Gemini Data Agents. Si tratta di un approccio che consente agli sviluppatori di integrare le funzionalità di elaborazione del linguaggio naturale e di interpretazione del codice di Google nelle proprie applicazioni. Questo rappresenta un passaggio da strumenti proprietari chiusi a un approccio basato su una piattaforma estensibile.

"Dietro le quinte, tutti questi agenti vengono in realtà sviluppati come un set di API", ha affermato Ahmad. "Con questi servizi API, intendiamo renderli sempre più disponibili ai nostri partner".

Il servizio API Umbrella pubblicherà servizi API fondamentali e API per agenti. Google dispone di programmi di anteprima Lighthouse, in cui i partner integrano queste API nelle proprie interfacce, inclusi i fornitori di notebook e i partner ISV che sviluppano strumenti per la pipeline di dati.

Per le aziende che desiderano diventare leader nelle operazioni sui dati basate sull'intelligenza artificiale, questo annuncio segna un'accelerazione verso flussi di lavoro autonomi. Queste funzionalità potrebbero offrire significativi vantaggi competitivi in termini di time-to-insight ed efficienza delle risorse. Le organizzazioni dovrebbero valutare l'attuale capacità del proprio team dedicato ai dati e prendere in considerazione programmi pilota per l'automazione delle pipeline.

Per le aziende che pianificano l'adozione futura dell'intelligenza artificiale, l'integrazione di queste funzionalità nei servizi Google Cloud esistenti cambia il panorama. L'infrastruttura per gli agenti dati avanzati diventa standard anziché premium. Questo cambiamento potenzialmente aumenta le aspettative di base per le funzionalità delle piattaforme dati in tutto il settore.

Le organizzazioni devono bilanciare i guadagni di efficienza con l'esigenza di supervisione e controllo. L'approccio di Google alla trasparenza potrebbe rappresentare una via di mezzo, ma i responsabili dei dati dovrebbero sviluppare framework di governance per le operazioni degli agenti autonomi prima di una loro implementazione su larga scala.

L'enfasi sulla disponibilità delle API indica che lo sviluppo di agenti personalizzati diventerà un fattore di differenziazione competitiva. Le aziende dovrebbero valutare come sfruttare questi servizi fondamentali per creare agenti specifici per ogni dominio, in grado di affrontare i loro processi aziendali e le sfide legate ai dati.