KI hat immer noch ein Halluzinationsproblem: Wie MongoDB es mit erweiterten Rerankern und Einbettungsmodellen lösen will

Um das bestmögliche Ergebnis aus einer KI-Abfrage zu erhalten, benötigen Organisationen die bestmöglichen Daten.

Die Antwort, die viele Organisationen zur Bewältigung dieser Herausforderung hatten, ist Retrieval-Augmented Generation (RAG). Bei RAG basieren die Ergebnisse auf Daten aus einer Datenbank. Wie sich jedoch herausstellt, ist nicht jede RAG gleich, und die tatsächliche Optimierung einer Datenbank für die bestmöglichen Ergebnisse kann eine Herausforderung sein.

Der Datenbankanbieter MongoDB ist in der Welt der KI oder RAG kein Neuling. Die gleichnamige Datenbank des Unternehmens wird bereits für RAG verwendet und MongoDB hat auch Initiativen zur Entwicklung von KI-Anwendungen gestartet. Obwohl das Unternehmen und seine Nutzer – wie der Medizinriese Novo Nordisk – mit der KI der Generation Erfolg hatten, bleibt noch viel zu tun.

Insbesondere Halluzinationen und Genauigkeit sind nach wie vor ein Problem, das einige Organisationen davon abhält, KI in die Produktion zu bringen. Zu diesem Zweck gab MongoDB heute die Übernahme des in Privatbesitz befindlichen Unternehmens Voyage AI bekannt, das fortschrittliche Einbettungs- und Abrufmodelle entwickelt. Voyage hat im Oktober 2024 in einer vom Cloud-Datengiganten Snowflake unterstützten Runde 20 Millionen US-Dollar an Finanzmitteln aufgebracht . Durch die Übernahme wird die Expertise von Voyage AI in der Einbettung von Generierung und Neubewertung – kritische Komponenten für KI-gestützte Suche und Abruf – direkt in die Datenbankplattform von MongoDB eingebracht.

„Im letzten Jahr und insbesondere als Unternehmen darüber nachzudenken versuchten, wie sie KI-gestützte Anwendungen entwickeln könnten, wurde zunehmend deutlich, dass die Qualität und Vertrauenswürdigkeit der von ihnen entwickelten Anwendungen oder deren Fehlen zu einem der Hindernisse für die Anwendung von KI in unternehmenskritischen Anwendungsfällen wurde“, sagte Sahir Azam, CPO von MongoDB, gegenüber VentureBeat.

Die Grundidee hinter RAG besteht darin, dass sich die KI-Engine nicht einfach auf eine Wissensbasis aus trainierten Daten verlässt, sondern fundierte Daten aus einer Datenbank abrufen kann.

Die Erstellung hochpräziser RAGs ist recht komplex und es besteht immer noch das potenzielle Risiko von Halluzinationen – eine Herausforderung, der sich MongoDB und seine Benutzer stellen müssen. Azam lehnte es ab, ein konkretes Beispiel oder einen Vorfall zu nennen, bei dem RAGs der KI-Generation einen Benutzer im Stich gelassen hätten, merkte jedoch an, dass Genauigkeit immer ein Problem sei.

Um die Genauigkeit zu verbessern und Halluzinationen zu reduzieren, sind mehrere Schritte erforderlich. Der erste besteht darin, die Qualität des Abrufs zu verbessern (das „R“ in RAG).

„In vielen Fällen ist die Abrufqualität nicht gut genug“, sagte Tengyu Ma, Gründer und CEO von Voyage AI, gegenüber VentureBeat. „Wenn beim Abrufschritt keine relevanten Informationen abgerufen werden, ist der Abruf nicht sehr nützlich und das große Sprachmodell (LLM) halluziniert, weil es einen Kontext erraten muss.“

Die Voyage-KI-Modelle, die jetzt Teil von MongoDB sind, tragen in einigen wichtigen Punkten zur Verbesserung von RAG bei:

• Domänenspezifische Modelle und Re-Ranker: Diese werden anhand großer Mengen unstrukturierter Daten aus bestimmten Branchen trainiert, wodurch sie die Terminologie und Semantik dieser Domänen besser verstehen.
• Anpassung und Feinabstimmung: Benutzer können den Abrufmechanismus für einzigartige Datensätze und Anwendungsfälle feinabstimmen.

MongoDB ist nicht der erste oder einzige Anbieter, der die Notwendigkeit und den Wert hochoptimierter Embedding- und Re-Rank-Technologie erkannt hat. Schließlich ist das einer der Gründe, warum Snowflake in Voyage AI investiert hat und die Modelle des Unternehmens nutzt.

Es ist wichtig zu beachten, dass die Modelle von Voyage AI auch nach der Übernahme durch MongoDB weiterhin für Snowflake und andere Benutzer von Voyage AI verfügbar sein werden. Der große Unterschied besteht darin, dass Voyage AI nun zunehmend in die Datenbankplattformen von MongoDB integriert wird.

Die direkte Integration fortgeschrittener Einbettungsmodelle in eine Datenbank ist ein Ansatz, den auch andere konkurrierende Datenbankanbieter verfolgen. Bereits im Juni 2024 kündigte DataStax seine eigene RAGStack-Technologie an, die fortgeschrittene Einbettungs- und Abrufmodelle kombiniert.

Azam argumentierte jedoch, dass MongoDB ein wenig anders sei. Zum einen ist es eine operative Datenbank und keine analytische Datenbank. Außerdem bietet MongoDB nicht nur Einblicke und Analysen, sondern unterstützt Transaktionen und reale Operationen. MongoDB ist auch eine sogenannte „Dokumentenmodelldatenbank“, die eine andere Struktur als eine traditionelle relationale Datenbank hat. Diese Struktur basiert nicht auf Spalten und Tabellen, die nicht besonders gut dazu geeignet sind, Informationen über unstrukturierte Daten darzustellen (ein kritisches Element für KI-Anwendungen).

„Wir bieten die einzige Datenbanktechnologie, die die Verwaltung von Metadaten zu Kundeninformationen, Betriebsabläufen und Transaktionen – also dem Herzstück des Geschäftsgeschehens und der Grundlage für den Datenabruf – in einem einzigen System vereint“, so Azam.

Der Bedarf an hochpräzisen Einbettungs- und Abrufmodellen wird durch agentenbasierte KI noch beschleunigt.

„Agenten-KI braucht immer noch Abfragemethoden, weil ein Agent keine Entscheidungen außerhalb des Kontexts treffen kann“, sagte Ma. „Manchmal werden sogar bei einer Entscheidung mehrere Abfragekomponenten verwendet.“

Ma merkte an, dass Voyage AI derzeit an spezifischen Modellen arbeitet, die stark auf die Anwendungsfälle von agentischer KI zugeschnitten sind. Er erklärte, dass agentische KI verschiedene Arten von Abfragen verwenden kann, die noch von einer weiteren Optimierung profitieren können.

Da KI der Generation immer häufiger in operativen Anwendungsfällen zum Einsatz kommt, ist es von größter Bedeutung, das Risiko von Halluzinationen auszuschließen. Während MongoDB mit KI der Generation Erfolg hatte, erwartet Azam, dass die Integration von Voyage AI neue unternehmenskritische Anwendungsfälle eröffnen wird.

„Wenn wir jetzt sagen können: ‚Hey, wir können Ihnen eine Genauigkeit von deutlich über 90 % für Ihre Anwendungen bieten, die heute in einigen Fällen vielleicht nur eine Ergebnisgenauigkeit von 30 oder 60 % erreichen‘, dann erweitert sich der Spielraum hinsichtlich der Möglichkeiten, KI in ihren Softwareanwendungen einzusetzen“, sagte Azam.

Tägliche Einblicke in geschäftliche Anwendungsfälle mit VB Daily

Wenn Sie Ihren Chef beeindrucken möchten, ist VB Daily die richtige Adresse für Sie. Wir geben Ihnen Insiderinformationen darüber, was Unternehmen mit generativer KI machen, von regulatorischen Änderungen bis hin zu praktischen Implementierungen, damit Sie Ihre Erkenntnisse weitergeben können, um den ROI zu maximieren.

Lesen Sie unsere Datenschutzrichtlinie

Vielen Dank für Ihr Abonnement. Weitere VB-Newsletter finden Sie hier .

Ein Fehler ist aufgetreten.