AI nadal ma problem z halucynacjami: w jaki sposób MongoDB zamierza go rozwiązać za pomocą zaawansowanych rerankerów i osadzania modeli

Aby uzyskać jak najlepsze wyniki zapytania AI, organizacje potrzebują jak najlepszych danych.

Odpowiedzią, którą wiele organizacji musiało znaleźć, aby przezwyciężyć to wyzwanie, jest generacja wzbogacona o wyszukiwanie (RAG). W przypadku RAG wyniki opierają się na danych z bazy danych. Okazuje się jednak, że nie wszystkie RAG są takie same, a faktyczna optymalizacja bazy danych w celu uzyskania najlepszych możliwych wyników może być wyzwaniem.

Dostawca baz danych MongoDB nie jest obcy światu AI ani RAG. Baza danych, która jest nazwą firmy, jest już używana w RAG, a MongoDB uruchomiło również inicjatywy rozwoju aplikacji AI . Podczas gdy firma i jej użytkownicy — taki gigant medyczny Novo Nordisk — odnieśli sukces z gen AI, wciąż jest wiele do zrobienia.

W szczególności halucynacje i dokładność nadal stanowią problem, który powstrzymuje niektóre organizacje przed wprowadzeniem gen AI do produkcji. W tym celu MongoDB ogłosiło dziś przejęcie prywatnej firmy Voyage AI , która opracowuje zaawansowane modele osadzania i pobierania. Voyage pozyskało 20 milionów dolarów finansowania w październiku 2024 r. w rundzie wspieranej przez giganta danych w chmurze Snowflake. Przejęcie to wprowadzi wiedzę specjalistyczną Voyage AI w zakresie generowania osadzania i ponownego klasyfikowania — kluczowych komponentów wyszukiwania i pobierania wspomaganego przez AI — bezpośrednio do platformy bazy danych MongoDB.

„W ciągu ostatniego roku, a zwłaszcza w miarę jak organizacje starały się zastanowić, w jaki sposób mogłyby tworzyć aplikacje oparte na sztucznej inteligencji, stało się coraz bardziej oczywiste, że jakość i zaufanie do tworzonych przez nich aplikacji, lub ich brak, stają się jedną z barier w stosowaniu sztucznej inteligencji w przypadkach użycia o znaczeniu krytycznym” — powiedział dyrektor ds. produktów MongoDB, Sahir Azam, w wywiadzie dla VentureBeat.

Podstawowym założeniem RAG jest to, że zamiast opierać się wyłącznie na bazie wiedzy pochodzącej z wytrenowanych danych, silnik sztucznej inteligencji może uzyskać rzetelne dane z bazy danych.

Tworzenie wysoce dokładnego RAG jest dość skomplikowane i nadal istnieje potencjalne ryzyko halucynacji — wyzwanie, z którym mierzy się MongoDB i jego użytkownicy. Chociaż Azam odmówił podania konkretnego przykładu lub incydentu, w którym gen AI RAG zawiódł użytkownika, zauważył, że dokładność zawsze jest problemem.

Poprawa dokładności i redukcja halucynacji wymaga wielu kroków. Pierwszym jest poprawa jakości odzyskiwania („R” w RAG).

„W wielu przypadkach jakość wyszukiwania nie jest wystarczająco dobra” – powiedział VentureBeat Tengyu Ma, założyciel i dyrektor generalny Voyage AI. „Na etapie wyszukiwania, jeśli nie pobierają istotnych informacji, wyszukiwanie nie jest zbyt przydatne, a duży model językowy (LLM) ma halucynacje, ponieważ musi zgadywać jakiś kontekst”.

Modele Voyage AI, które są teraz częścią MongoDB, pomagają udoskonalić RAG na kilka kluczowych sposobów:

• Modele specyficzne dla danej domeny i rerankingi: są trenowane na dużych ilościach niestrukturyzowanych danych z określonych pionów, co pozwala im lepiej zrozumieć terminologię i semantykę tych domen.
• Personalizacja i dostrajanie: Użytkownicy mogą dostroić mechanizm wyszukiwania do unikalnych zestawów danych i przypadków użycia.

MongoDB nie jest pierwszym ani jedynym dostawcą, który dostrzega potrzebę i wartość posiadania wysoce zoptymalizowanej technologii osadzania i rerankingu. W końcu to jeden z powodów, dla których Snowflake zainwestował w Voyage AI i korzysta z modeli firmy.

Ważne jest, aby zauważyć, że nawet po przejęciu przez MongoDB, modele Voyage AI będą nadal dostępne dla Snowflake i innych użytkowników Voyage AI. Główną różnicą jest to, że Voyage AI będzie teraz coraz bardziej integrowane z platformami baz danych MongoDB.

Bezpośrednia integracja zaawansowanych modeli osadzania w bazie danych to podejście stosowane również przez innych konkurencyjnych dostawców baz danych. W czerwcu 2024 r. DataStax ogłosił własną technologię RAGStack , która łączy zaawansowane modele osadzania i pobierania.

Azam argumentował, że MongoDB jest jednak trochę inne. Po pierwsze, jest to baza operacyjna, w przeciwieństwie do bazy analitycznej. Ponadto, w przeciwieństwie do dostarczania tylko spostrzeżeń i analiz, MongoDB pomaga w obsłudze transakcji i operacji w świecie rzeczywistym. MongoDB jest również tym, co jest znane jako „baza danych modelu dokumentu”, która ma inną strukturę niż tradycyjna relacyjna baza danych. Ta struktura nie opiera się na kolumnach i tabelach, które nie są szczególnie dobre w reprezentowaniu informacji o niestrukturyzowanych danych (kluczowy element dla aplikacji AI).

„Jesteśmy jedyną firmą oferującą technologię baz danych, która łączy zarządzanie metadanymi dotyczącymi informacji o klientach, operacjach i transakcjach, które są sercem wszystkiego, co dzieje się w firmie, a także podstawą wyszukiwania — wszystko w ramach jednego systemu” — powiedział Azam.

Potrzeba niezwykle dokładnych modeli osadzania i pobierania danych jest jeszcze bardziej wzmacniana przez sztuczną inteligencję agentową.

„Agentna sztuczna inteligencja nadal potrzebuje metod pobierania, ponieważ agent nie może podejmować decyzji poza kontekstem” — powiedział Ma. „Czasami w rzeczywistości wiele komponentów pobierania jest używanych nawet w jednej decyzji”.

Ma zauważył, że Voyage AI pracuje obecnie nad konkretnymi modelami, które są wysoce dostosowane do przypadków użycia agentowej AI. Wyjaśnił, że agentowa AI może używać różnych typów zapytań, które nadal mogą skorzystać z większej optymalizacji.

W miarę jak gen AI coraz częściej wkracza w operacyjne przypadki użycia, potrzeba wyeliminowania ryzyka halucynacji jest wyraźnie najważniejsza. Podczas gdy MongoDB odniosło sukces z gen AI, Azam spodziewa się, że integracja Voyage AI otworzy nowe krytyczne dla misji przypadki użycia.

„Jeśli teraz możemy powiedzieć: »Hej, możemy zapewnić Ci dokładność znacznie przekraczającą 90% w przypadku Twoich aplikacji, podczas gdy obecnie w niektórych przypadkach dokładność wyników może wynieść jedynie 30 lub 60%«, otwierają się szersze możliwości, jeśli chodzi o rodzaje możliwości, w których ludzie mogą stosować sztuczną inteligencję w swoich aplikacjach programowych” — powiedział Azam.

Codzienne spostrzeżenia na temat przypadków użycia biznesowego z VB Daily

Jeśli chcesz zaimponować swojemu szefowi, VB Daily ma dla Ciebie rozwiązanie. Dajemy Ci wewnętrzny wgląd w to, co firmy robią z generatywną sztuczną inteligencją, od zmian regulacyjnych po praktyczne wdrożenia, dzięki czemu możesz dzielić się spostrzeżeniami, aby uzyskać maksymalny zwrot z inwestycji.

Przeczytaj naszą Politykę prywatności

Dziękujemy za subskrypcję. Sprawdź więcej newsletterów VB tutaj .

Wystąpił błąd.