No todo necesita un LLM: un marco para evaluar cuándo la IA tiene sentido

Pregunta : ¿Qué producto debería usar aprendizaje automático (ML)? Respuesta del gerente de proyecto : Sí.

Bromas aparte, la llegada de la IA generativa ha revolucionado nuestra comprensión de qué casos de uso se prestan mejor al aprendizaje automático (ML). Históricamente, siempre hemos aprovechado el ML para generar patrones repetibles y predictivos en las experiencias de los clientes, pero ahora es posible aprovechar una forma de ML incluso sin un conjunto completo de datos de entrenamiento.

Sin embargo, la respuesta a la pregunta "¿Qué necesidades del cliente requieren una solución de IA?" no siempre es afirmativa. Los modelos de lenguaje grandes (LLM) aún pueden resultar prohibitivamente caros para algunos, y como ocurre con todos los modelos de aprendizaje automático (ML), no siempre son precisos. Siempre habrá casos de uso en los que aprovechar una implementación de ML no sea la mejor opción. ¿Cómo evaluamos, como gestores de proyectos de IA, las necesidades de nuestros clientes para la implementación de IA?

Las consideraciones clave para ayudar a tomar esta decisión incluyen:

1. Las entradas y salidas necesarias para satisfacer las necesidades de sus clientes: El cliente proporciona una entrada a su producto y este proporciona una salida. Por ejemplo, para una lista de reproducción generada por Spotify ML (una salida), las entradas podrían incluir las preferencias del cliente, así como las canciones, artistas y géneros musicales que le gustan.
2. Combinaciones de entradas y salidas: Las necesidades de los clientes pueden variar según si desean el mismo resultado o uno diferente para la misma entrada o para una entrada diferente. Cuantas más permutaciones y combinaciones necesitemos replicar para las entradas y salidas a escala, más necesario será recurrir al aprendizaje automático (ML) en lugar de a los sistemas basados ​​en reglas.
3. Patrones en las entradas y salidas: Los patrones en las combinaciones requeridas de entradas o salidas le ayudan a decidir qué tipo de modelo de aprendizaje automático necesita para la implementación. Si existen patrones en las combinaciones de entradas y salidas (como revisar anécdotas de clientes para obtener una puntuación de sentimiento), considere modelos de aprendizaje automático supervisados ​​o semisupervisados ​​en lugar de modelos de aprendizaje automático de larga duración (LLM), ya que podrían ser más rentables.
4. Costo y precisión: Las llamadas LLM no siempre son económicas a escala y los resultados no siempre son precisos/exactos , a pesar del ajuste fino y la ingeniería rápida. A veces, es más conveniente usar modelos supervisados ​​para redes neuronales que puedan clasificar una entrada mediante un conjunto fijo de etiquetas, o incluso sistemas basados ​​en reglas, en lugar de usar un LLM.

A continuación, he preparado una tabla rápida que resume las consideraciones anteriores para ayudar a los gerentes de proyectos a evaluar las necesidades de sus clientes y determinar si la implementación de ML parece ser el camino correcto a seguir.

Tipo de necesidad del cliente	Ejemplo	Implementación de ML (Sí/No/Depende)	Tipo de implementación de ML
Tareas repetitivas en las que un cliente necesita el mismo resultado para la misma entrada	Agregue mi correo electrónico en varios formularios en línea	No	Crear un sistema basado en reglas es más que suficiente para ayudarte con tus resultados.
Tareas repetitivas en las que un cliente necesita diferentes resultados para la misma entrada	El cliente está en “modo de descubrimiento” y espera una nueva experiencia cuando realiza la misma acción (como iniciar sesión en una cuenta): generar una nueva obra de arte por clic — StumbleUpon (¿lo recuerdas?) descubriendo un nuevo rincón de Internet a través de una búsqueda aleatoria	Sí	–LLM de generación de imágenes –Algoritmos de recomendación (filtrado colaborativo)
Tareas repetitivas en las que un cliente necesita el mismo resultado o uno similar para diferentes entradas	–Calificación de ensayos–Generación de temas a partir de los comentarios de los clientes	Depende	Si el número de combinaciones de entrada y salida es lo suficientemente simple, un sistema determinista basado en reglas puede funcionar. Sin embargo, si empieza a tener múltiples combinaciones de entradas y salidas porque un sistema basado en reglas no puede escalar eficazmente, considere apoyarse en: – Clasificadores – Modelado de temas, pero solo si existen patrones en estas entradas. Si no existen patrones en absoluto, considere aprovechar los LLM, pero solo para escenarios puntuales (ya que los LLM no son tan precisos como los modelos supervisados).
Tareas repetitivas en las que un cliente necesita diferentes resultados para diferentes entradas	–Responder preguntas de atención al cliente–Buscar	Sí	Es raro encontrar ejemplos donde se puedan proporcionar diferentes resultados para diferentes entradas a escala sin ML. Existen demasiadas permutaciones para que una implementación basada en reglas escale eficazmente. Considere: LLM con generación aumentada por recuperación (RAG). –Árboles de decisión para productos como la búsqueda
Tareas no repetitivas con diferentes resultados	Reseña de un hotel/restaurante	Sí	Antes de los LLM, este tipo de escenario era difícil de lograr sin modelos entrenados para tareas específicas, como: –Redes neuronales recurrentes (RNN)–Redes de memoria a corto plazo (LSTM) para predecir la siguiente palabra Los LLM son una excelente opción para este tipo de escenario.

En resumen: No uses un sable de luz cuando unas simples tijeras podrían ser suficientes. Evalúa las necesidades de tu cliente utilizando la matriz anterior, considerando los costos de implementación y la precisión del resultado, para crear productos precisos y rentables a escala.

Sharanya Rao es gerente de producto del grupo fintech. Las opiniones expresadas en este artículo son las del autor y no necesariamente las de su empresa u organización .