La IA todavía tiene un problema de alucinaciones: cómo MongoDB pretende resolverlo con rerankers avanzados y modelos integrados

Para obtener el mejor resultado posible de una consulta de IA, las organizaciones necesitan los mejores datos posibles.

La respuesta que muchas organizaciones han tenido para superar ese desafío es la generación aumentada por recuperación (RAG). Con RAG, los resultados se basan en datos de una base de datos. Sin embargo, resulta que no todas las RAG son iguales y, en realidad, optimizar una base de datos para obtener los mejores resultados posibles puede ser un desafío.

El proveedor de bases de datos MongoDB no es ajeno al mundo de la IA o RAG. La base de datos homónima de la empresa ya se utiliza para RAG, y MongoDB también ha lanzado iniciativas de desarrollo de aplicaciones de IA . Si bien la empresa y sus usuarios (como el gigante médico Novo Nordisk ) han tenido éxito con la IA de última generación, aún queda mucho por hacer.

En particular, la alucinación y la precisión siguen siendo un problema que impide a algunas organizaciones poner en producción la inteligencia artificial de última generación. Con ese fin, MongoDB anunció hoy la adquisición de Voyage AI , una empresa privada que desarrolla modelos avanzados de integración y recuperación. Voyage recaudó 20 millones de dólares en financiación en octubre de 2024 en una ronda respaldada por el gigante de los datos en la nube Snowflake. La adquisición incorporará la experiencia de Voyage AI en la integración de la generación y la reclasificación (componentes críticos para la búsqueda y recuperación impulsadas por IA) directamente a la plataforma de bases de datos de MongoDB.

“Durante el último año, y especialmente a medida que las organizaciones intentaban pensar en cómo podían crear aplicaciones impulsadas por IA, se hizo cada vez más evidente que la calidad y la confianza de las aplicaciones que crean, o la falta de ellas, se estaba convirtiendo en una de las barreras para aplicar la IA a casos de uso de misión crítica”, dijo Sahir Azam, CPO de MongoDB, a VentureBeat.

La idea básica detrás de RAG es que, en lugar de confiar simplemente en una base de conocimiento a partir de datos entrenados, el motor de inteligencia artificial general puede obtener datos fundamentados de una base de datos.

Crear un RAG de alta precisión es bastante complejo y aún existe un riesgo potencial de alucinaciones, un desafío al que se enfrentan MongoDB y sus usuarios. Si bien Azam se negó a brindar ningún ejemplo o incidente específico en el que el RAG de gen AI haya fallado a un usuario, señaló que la precisión siempre es una preocupación.

Mejorar la precisión y reducir las alucinaciones implica varios pasos. El primero es mejorar la calidad de la recuperación (la "R" de RAG).

“En muchos casos, la calidad de la recuperación no es lo suficientemente buena”, dijo Tengyu Ma, fundador y director ejecutivo de Voyage AI, a VentureBeat. “En el paso de recuperación, si no están recuperando información relevante, entonces la recuperación no es muy útil y el modelo de lenguaje grande (LLM) alucina porque tiene que adivinar algún contexto”.

Los modelos de Voyage AI que ahora forman parte de MongoDB ayudan a mejorar RAG de algunas maneras clave:

• Modelos y reclasificadores específicos de dominio: se entrenan con grandes cantidades de datos no estructurados de sectores verticales específicos, lo que les permite comprender mejor la terminología y la semántica de esos dominios.
• Personalización y ajuste: los usuarios pueden ajustar el mecanismo de recuperación para conjuntos de datos y casos de uso únicos.

MongoDB no es el primer ni el único proveedor que reconoce la necesidad y el valor de contar con una tecnología de integración y reclasificación altamente optimizada. Después de todo, esa es una de las razones por las que Snowflake invirtió en Voyage AI y está utilizando los modelos de la empresa.

Es importante destacar que, incluso después de ser adquirida por MongoDB, los modelos de Voyage AI seguirán estando disponibles para Snowflake y para los demás usuarios de Voyage AI. La gran diferencia es que Voyage AI ahora estará cada vez más integrada en las plataformas de bases de datos de MongoDB.

La integración directa de modelos de incrustación avanzados en una base de datos es un enfoque que también han adoptado otros proveedores de bases de datos rivales. En junio de 2024, DataStax anunció su propia tecnología RAGStack , que combina modelos avanzados de incrustación y recuperación.

Azam argumentó que MongoDB es un poco diferente. Por un lado, es una base de datos operativa, a diferencia de una base de datos analítica. Además, a diferencia de simplemente proporcionar información y análisis, MongoDB ayuda a impulsar transacciones y operaciones del mundo real. MongoDB también es lo que se conoce como una "base de datos de modelo de documento", que tiene una estructura diferente a la de una base de datos relacional tradicional. Esa estructura no se basa en columnas y tablas, que no son particularmente buenas para representar información sobre datos no estructurados (un elemento crítico para las aplicaciones de IA).

“Somos la única tecnología de base de datos que combina la gestión de metadatos sobre la información de un cliente, las operaciones y transacciones, que es el corazón de lo que sucede en el negocio, así como la base para la recuperación, todo con un solo sistema”, dijo Azam.

La necesidad de modelos de integración y recuperación de alta precisión se está acelerando aún más gracias a la IA agente.

“La IA agente todavía necesita métodos de recuperación, porque un agente no puede tomar decisiones fuera de contexto”, dijo Ma. “A veces, incluso en una misma decisión se utilizan varios componentes de recuperación”.

Ma señaló que Voyage AI está trabajando actualmente en modelos específicos que están altamente personalizados para casos de uso de inteligencia artificial. Explicó que la inteligencia artificial puede utilizar diferentes tipos de consultas que aún pueden beneficiarse de una mayor optimización.

A medida que la inteligencia artificial de última generación se va incorporando cada vez más a casos de uso operativos, la necesidad de eliminar el riesgo de alucinaciones es claramente primordial. Si bien MongoDB ha tenido éxito con la inteligencia artificial de última generación, Azam espera que la integración de Voyage AI abra nuevos casos de uso de misión crítica.

"Si ahora podemos decir: 'Oye, podemos darte una precisión de más del 90 % para tus aplicaciones que hoy, en algunos casos, solo pueden llegar al 30 o 60 % de precisión en los resultados', la apertura se amplía en términos de los tipos de oportunidades a las que las personas pueden aplicar la IA en sus aplicaciones de software", dijo Azam.

Perspectivas diarias sobre casos de uso empresarial con VB Daily

Si desea impresionar a su jefe, VB Daily lo tiene cubierto. Le brindamos información exclusiva sobre lo que las empresas están haciendo con la IA generativa, desde cambios regulatorios hasta implementaciones prácticas, para que pueda compartir información y obtener el máximo retorno de la inversión.

Lea nuestra Política de privacidad

Gracias por suscribirse. Vea más boletines de VB aquí .

Se produjo un error.