Los agentes de datos de Google Cloud prometen acabar con el problema del 80% de trabajo que afecta a los equipos de datos empresariales

Los datos no aparecen por arte de magia en el lugar correcto para el análisis empresarial o la IA; deben prepararse y gestionarse mediante canales de datos. Ese es el dominio de la ingeniería de datos y, desde hace tiempo, ha sido una de las tareas más ingratas y tediosas que las empresas deben afrontar.

Hoy, Google Cloud aborda directamente el tedioso proceso de preparación de datos con el lanzamiento de una serie de agentes de IA. Estos nuevos agentes abarcan todo el ciclo de vida de los datos. El Agente de Ingeniería de Datos de BigQuery automatiza la creación de pipelines complejos mediante comandos de lenguaje natural. Un Agente de Ciencia de Datos transforma los notebooks en espacios de trabajo inteligentes que pueden ejecutar flujos de trabajo de aprendizaje automático de forma autónoma. El Agente de Análisis Conversacional mejorado ahora incluye un Intérprete de Código que gestiona análisis avanzados de Python para usuarios empresariales.

“Cuando pienso en quiénes se dedican a la ingeniería de datos hoy en día, no se trata solo de ingenieros, analistas y científicos de datos; todos los profesionales de datos se quejan de lo difícil que es encontrarlos, gestionarlos y acceder a datos de alta calidad”, declaró Yasmeen Ahmad, directora general de la nube de datos de Google Cloud, a VentureBeat. “La mayoría de los flujos de trabajo que nos cuentan nuestros usuarios se centran en un 80 % en esas tediosas tareas relacionadas con la gestión de datos, la ingeniería y la obtención de datos de buena calidad con los que puedan trabajar”.

Google creó el Agente de Ingeniería de Datos en BigQuery para crear pipelines de datos complejos mediante indicaciones en lenguaje natural. Los usuarios pueden describir flujos de trabajo de varios pasos y el agente gestiona la implementación técnica. Esto incluye la ingesta de datos del almacenamiento en la nube, la aplicación de transformaciones y la realización de controles de calidad.

El agente escribe scripts complejos de SQL y Python automáticamente. Gestiona la detección de anomalías, programa canalizaciones y soluciona fallos. Estas tareas suelen requerir una amplia experiencia en ingeniería y un mantenimiento continuo.

El agente divide las solicitudes de lenguaje natural en varios pasos. Primero, comprende la necesidad de crear conexiones con las fuentes de datos. Luego, crea las estructuras de tabla adecuadas, carga los datos, identifica las claves primarias para las uniones, analiza los problemas de calidad de los datos y aplica funciones de limpieza.

“Normalmente, todo ese flujo de trabajo habría consistido en escribir una gran cantidad de código complejo para un ingeniero de datos, construir una canalización compleja y luego gestionar e iterar ese código a lo largo del tiempo”, explicó Ahmad. “Ahora, con el agente de ingeniería de datos, se pueden crear nuevas canalizaciones para lenguaje natural. Se pueden modificar las canalizaciones existentes. Se pueden solucionar problemas”.

Los ingenieros de datos suelen ser un grupo de personas muy prácticas.

Las diversas herramientas que se utilizan habitualmente para crear una canalización de datos, incluida la transmisión de datos, la orquestación, la calidad y la transformación, no desaparecen con el nuevo agente de ingeniería de datos.

“Los ingenieros aún conocen esas herramientas subyacentes, porque lo que vemos en la forma en que operan los usuarios de datos es que, sí, aprecian al agente y lo ven como un experto, un socio y un colaborador”, dijo Ahmad. “Pero a menudo nuestros ingenieros realmente quieren ver el código, quieren visualizar los procesos que estos agentes han creado”.

Por lo tanto, si bien los agentes de ingeniería de datos pueden trabajar de forma autónoma, los ingenieros de datos pueden ver realmente lo que hace el agente. Explicó que los profesionales de datos suelen revisar el código escrito por el agente y luego le hacen sugerencias adicionales para ajustar o personalizar aún más el flujo de datos.

Hay múltiples proveedores en el espacio de datos que están desarrollando flujos de trabajo de IA agentes.

Startups como Altimate AI están desarrollando agentes específicos para flujos de trabajo de datos. Grandes proveedores, como Databricks , Snowflake y Microsoft, están desarrollando sus propias tecnologías de IA con agentes que también pueden ayudar a los profesionales de datos.

El enfoque de Google es ligeramente diferente, ya que está desarrollando sus servicios de IA de agentes para datos con su API Gemini Data Agents. Este enfoque permite a los desarrolladores integrar las capacidades de procesamiento del lenguaje natural e interpretación de código de Google en sus propias aplicaciones. Esto representa una transición de herramientas cerradas y propias a un enfoque de plataforma extensible.

“En segundo plano, todos estos agentes se están construyendo como un conjunto de API”, dijo Ahmad. “Con estos servicios de API, nuestra intención es ponerlos cada vez más a disposición de nuestros socios”.

El servicio de API paraguas publicará servicios de API fundamentales y API de agente. Google cuenta con programas de vista previa de Lighthouse donde los socios integran estas API en sus propias interfaces, incluyendo proveedores de notebooks y socios ISV que desarrollan herramientas de canalización de datos.

Para las empresas que buscan liderar las operaciones de datos impulsadas por IA, este anuncio marca un avance hacia los flujos de trabajo de datos autónomos. Estas capacidades podrían ofrecer importantes ventajas competitivas en términos de tiempo de obtención de información y eficiencia de recursos. Las organizaciones deberían evaluar la capacidad actual de sus equipos de datos y considerar programas piloto para la automatización de los flujos de trabajo.

Para las empresas que planean adoptar IA en el futuro, la integración de estas capacidades en los servicios existentes de Google Cloud transforma el panorama. La infraestructura para agentes de datos avanzados se vuelve estándar en lugar de premium. Este cambio podría elevar las expectativas básicas sobre las capacidades de las plataformas de datos en todo el sector.

Las organizaciones deben equilibrar las mejoras de eficiencia con la necesidad de supervisión y control. El enfoque de transparencia de Google puede ofrecer un punto intermedio, pero los líderes de datos deberían desarrollar marcos de gobernanza para las operaciones de agentes autónomos antes de su implementación generalizada.

El énfasis en la disponibilidad de API indica que el desarrollo de agentes personalizados se convertirá en un factor diferenciador competitivo. Las empresas deberían considerar cómo aprovechar estos servicios fundamentales para crear agentes específicos de cada dominio que aborden sus procesos de negocio y desafíos de datos únicos.