El acantilado de escalamiento oculto que está a punto de interrumpir las implementaciones de sus agentes

Las empresas que desean crear y escalar agentes también deben aceptar otra realidad: los agentes no se crean como otro software.

Según May Habib, directora ejecutiva y cofundadora de Writer , los agentes son "categóricamente diferentes" en su construcción, funcionamiento y mejora. Esto implica abandonar el ciclo de vida tradicional del desarrollo de software al trabajar con sistemas adaptativos.

“Los agentes no siguen las reglas con total fiabilidad”, dijo Habib el miércoles en el escenario de VB Transform . “Se orientan a los resultados. Interpretan. Se adaptan. Y este comportamiento solo se manifiesta en entornos reales”.

Saber qué funciona y qué no funciona se debe a la experiencia de Habib ayudando a cientos de clientes empresariales a crear y escalar agentes de nivel empresarial. Según Habib, más de 350 de las empresas Fortune 1000 son clientes de Writer, y más de la mitad de las empresas Fortune 500 escalarán sus agentes con Writer para finales de 2025.

Usar tecnología no determinista para generar resultados potentes puede ser incluso una auténtica pesadilla, afirmó Habib, especialmente al intentar escalar agentes sistemáticamente. Incluso si los equipos empresariales pueden implementar agentes sin gerentes de producto ni diseñadores, Habib cree que se necesita una mentalidad de gerente de proyecto para colaborar, desarrollar, iterar y mantener agentes.

“Desafortunadamente o afortunadamente, dependiendo de su perspectiva, el departamento de TI se quedará con el problema si no guía a sus contrapartes comerciales hacia esa nueva forma de construir”.

>> Vea toda nuestra cobertura de Transform 2025 aquí <<

Uno de los cambios de mentalidad incluye comprender la naturaleza basada en resultados de los agentes. Por ejemplo, comentó que muchos clientes solicitan agentes que ayuden a sus equipos legales a revisar o corregir contratos. Sin embargo, esto es demasiado flexible. En cambio, un enfoque orientado a objetivos implica diseñar un agente que reduzca el tiempo dedicado a revisar y corregir contratos.

“En el ciclo de vida tradicional del desarrollo de software, se diseña para un conjunto determinista de pasos muy predecibles”, dijo Habib. “Se trata de una entrada y una salida de una forma más determinista. Pero con los agentes, se busca moldear el comportamiento agéntico. Por lo tanto, se busca menos un flujo controlado y mucho más contextualizar y guiar la toma de decisiones del agente”.

Otra diferencia radica en la creación de un plan de acción para los agentes que les instruye con lógica de negocio, en lugar de proporcionarles flujos de trabajo que seguir. Esto incluye el diseño de bucles de razonamiento y la colaboración con expertos en la materia para mapear procesos que promuevan los comportamientos deseados.

Aunque se habla mucho sobre el escalado de agentes, Writer sigue ayudando a la mayoría de sus clientes a construirlos uno a uno. Esto se debe a la importancia de responder primero a las preguntas sobre quién es el propietario y el auditor del agente, quién se asegura de que siga siendo relevante y verifica que siga produciendo los resultados deseados.

“Existe un precipicio de escalamiento al que se llega muy rápidamente sin un nuevo enfoque para construir y escalar agentes”, dijo Habib. “Se llega a un precipicio cuando la capacidad de su organización para gestionar agentes responsablemente supera el ritmo de desarrollo de cada departamento”.

El control de calidad también es diferente para los agentes. En lugar de una lista de verificación objetiva, la evaluación agéntica incluye considerar el comportamiento no binario y evaluar cómo actúan los agentes en situaciones reales. Esto se debe a que el fracaso no siempre es obvio, ni tan simple como comprobar si algo falló. Habib afirmó que es mejor comprobar si un agente se comportó bien, preguntando si las medidas de seguridad funcionaron y evaluando los resultados y la intención: «El objetivo no es la perfección, sino la confianza en el comportamiento, porque hay mucha subjetividad en este aspecto».

Las empresas que no comprenden la importancia de la iteración terminan jugando una partida de tenis constante que desgasta a ambas partes hasta que ya no quieren jugar más, afirmó Habib. También es importante que los equipos acepten que los agentes no sean perfectos y se centren más en lanzarlos de forma segura, con rapidez e iterando una y otra vez.

A pesar de los desafíos, existen ejemplos de agentes de IA que ya están generando nuevos ingresos para empresas. Por ejemplo, Habib mencionó un importante banco que colaboró ​​con Writer para desarrollar un sistema basado en agentes, lo que resultó en un nuevo canal de ventas adicionales por valor de 600 millones de dólares al incorporar nuevos clientes a múltiples líneas de productos.

El mantenimiento agéntico también es diferente. El mantenimiento de software tradicional implica revisar el código cuando algo falla, pero Habib afirmó que los agentes de IA requieren un nuevo tipo de control de versiones para todo aquello que pueda influir en el comportamiento. También requiere una gobernanza adecuada y garantizar que los agentes sigan siendo útiles a lo largo del tiempo, en lugar de incurrir en costos innecesarios.

Dado que los modelos no se asignan correctamente a los agentes de IA, Habib explicó que el mantenimiento incluye la revisión de las indicaciones, la configuración del modelo, los esquemas de herramientas y la configuración de la memoria. También implica el seguimiento completo de las ejecuciones en todas las entradas, salidas, pasos de razonamiento, llamadas a herramientas e interacciones humanas.

“Puedes actualizar un prompt LLM [de un modelo de lenguaje grande] y observar cómo el agente se comporta de forma completamente diferente, aunque nada en el historial de Git haya cambiado realmente”, dijo Habib. “Los enlaces del modelo cambian, los índices de recuperación se actualizan, las API de las herramientas evolucionan y, de repente, el mismo prompt no se comporta como se esperaba… Puede parecer que estamos depurando fantasmas”.