Czy duże modele językowe śnią o agentach AI?

Podczas snu ludzki mózg sortuje różne wspomnienia, konsolidując te ważne i odrzucając te nieistotne. Co by było, gdyby sztuczna inteligencja mogła robić to samo?

Bilt , firma oferująca najemcom zniżki na zakupy w lokalnych sklepach i restauracje, niedawno wysłała do pracy kilka milionów agentów, mając nadzieję, że uda im się zrealizować właśnie ten cel.

Bilt korzysta z technologii opracowanej przez startup Letta , która pozwala agentom uczyć się na podstawie poprzednich rozmów i dzielić się wspomnieniami. Korzystając z procesu zwanego „obliczaniem snu”, agenci decydują, jakie informacje przechowywać w pamięci długotrwałej i co może być potrzebne do szybszego przywoływania.

„Możemy wprowadzić pojedynczą aktualizację bloku [pamięci] i zmienić zachowanie setek tysięcy agentów” – mówi Andrew Fitz, inżynier AI w Bilt. „Jest to przydatne w każdym scenariuszu, w którym potrzebna jest szczegółowa kontrola nad kontekstem agentów” – dodaje, odnosząc się do komunikatu tekstowego przekazywanego do modelu w momencie wnioskowania.

Duże modele językowe zazwyczaj potrafią „przywołać” rzeczy tylko wtedy, gdy informacje znajdują się w oknie kontekstowym. Jeśli chcesz, aby chatbot zapamiętał Twoją ostatnią rozmowę, musisz ją wkleić do czatu.

Większość systemów AI potrafi przetwarzać jedynie ograniczoną ilość informacji w oknie kontekstowym, zanim ich zdolność do wykorzystania danych zawiedzie, a one same popadną w halucynacje lub staną się zdezorientowane. Ludzki mózg natomiast potrafi zapamiętać przydatne informacje i przywołać je później.

„Twój mózg stale się doskonali, dodając coraz więcej informacji jak gąbka” – mówi Charles Packer, dyrektor generalny Letta. „Z modelami językowymi jest dokładnie odwrotnie. Uruchamiasz te modele językowe w pętli wystarczająco długo, a kontekst zostaje zatruty; wykolejają się i po prostu chcesz się zresetować”.

Packer i jego współzałożycielka Sarah Wooders opracowali wcześniej MemGPT , projekt open source, który miał pomóc absolwentom studiów magisterskich (LLM) w podejmowaniu decyzji, które informacje powinny być przechowywane w pamięci krótkotrwałej, a które w pamięci długotrwałej. Dzięki Letta duet rozszerzył swoje podejście, umożliwiając agentom uczenie się w tle.

Współpraca Bilta z Lettą jest częścią szerszego dążenia do umożliwienia sztucznej inteligencji przechowywania i przywoływania użytecznych informacji, co może sprawić, że chatboty będą inteligentniejsze, a agenci mniej podatni na błędy. Według ekspertów, z którymi rozmawiałem, pamięć w nowoczesnej sztucznej inteligencji jest nadal słabo rozwinięta, co osłabia inteligencję i niezawodność narzędzi AI.

Harrison Chase, współzałożyciel i prezes LangChain, innej firmy, która opracowała metodę poprawy pamięci agentów AI, twierdzi, że postrzega pamięć jako kluczowy element inżynierii kontekstu – w której użytkownik lub inżynier decyduje, jakie informacje wprowadzić do okna kontekstowego. LangChain oferuje firmom kilka różnych rodzajów pamięci dla agentów, od długoterminowych danych o użytkownikach po wspomnienia ostatnich doświadczeń. „Moim zdaniem pamięć jest formą kontekstu” – mówi Chase. „Duża część pracy inżyniera AI polega zasadniczo na zapewnieniu modelowi odpowiedniego kontekstu [informacji]”.

Konsumenckie narzędzia AI również stopniowo przestają być zapominalskie. W lutym tego roku OpenAI ogłosiło , że ChatGPT będzie przechowywać istotne informacje, aby zapewnić użytkownikom bardziej spersonalizowane doświadczenia – choć firma nie ujawniła, jak to działa.

Letta i LangChain sprawiają, że proces wycofywania danych staje się bardziej przejrzysty dla inżynierów tworzących systemy AI.

„Myślę, że niezwykle ważne jest, aby otwarte były nie tylko modele, ale także systemy pamięci” – mówi Clem Delangue, dyrektor generalny platformy hostingowej AI Hugging Face i inwestor w Letta.

Co intrygujące, prezes Letta, Packer, sugeruje, że dla modeli AI ważne może być również nauczenie się, o czym zapomnieć. „Jeśli użytkownik powie: »ten jeden projekt, nad którym pracowaliśmy, wymaż go z pamięci«, agent powinien móc wrócić i retrospektywnie przepisać każde wspomnienie”.

Pojęcie sztucznych wspomnień i snów przywodzi mi na myśl powieść Philipa K. Dicka „Czy androidy śnią o elektrycznych owcach ?”, która stanowiła inspirację dla dystopijnego filmu „ Łowca androidów” . Modele językowe o dużej objętości nie są jeszcze tak imponujące jak zbuntowani replikanci z opowieści, ale ich pamięć, jak się wydaje, bywa równie krucha .

To jest wydanie biuletynu AI Lab Willa Knighta . Przeczytaj poprzednie biuletyny tutaj.