Błąd AgentSmith w Prompt Hub firmy LangSmith ujawnił klucze API użytkownika i dane

Badacze cyberbezpieczeństwa z Noma Security ujawnili szczegóły krytycznej luki w zabezpieczeniach platformy LangSmith firmy LangChain , która w szczególności dotyczy jej publicznego Prompt Hub. Ta krytyczna luka, nazwana AgentSmith z wynikiem CVSS 8,8 (oznaczającym wysoki poziom zagrożenia), może umożliwić złośliwym agentom AI kradzież poufnych danych użytkowników, w tym cennych kluczy API OpenAI, a nawet manipulowanie odpowiedziami z dużych modeli językowych ( LLM ).

LangSmith to popularna platforma LangChain używana przez duże firmy, takie jak Microsoft i DHL, do zarządzania i współpracy z agentami AI. Prompt Hub , jego kluczowa funkcja, to publiczna biblioteka do udostępniania/ponownego wykorzystywania wstępnie skonfigurowanych monitów AI, z których wiele działa jako agenci.

Luka w zabezpieczeniach AgentSmith wykorzystywała sposób, w jaki ci publiczni agenci mogli zostać skonfigurowani ze szkodliwymi konfiguracjami proxy. Serwer proxy działa jako pośrednik dla żądań sieciowych. W tym przypadku atakujący mógłby utworzyć agenta AI z ukrytym złośliwym proxy.

Gdy niczego niepodejrzewający użytkownik zaadaptuje i uruchomi tego agenta z Prompt Hub, cała jego komunikacja, w tym prywatne dane, takie jak klucze API OpenAI , przesłane pliki, a nawet polecenia głosowe, zostaną potajemnie przesłane przez serwer atakującego.

Zgodnie z dochodzeniem Noma Security, udostępnionym Hackread.com, przechwycenie typu Man-in-the-Middle (MITM) może mieć poważne konsekwencje. Atakujący mogą uzyskać nieautoryzowany dostęp do konta OpenAI ofiary, potencjalnie pobierając poufne zestawy danych, wywnioskowując poufne informacje z monitów, a nawet powodując straty finansowe poprzez wyczerpanie limitów wykorzystania API.

W bardziej zaawansowanych atakach złośliwy serwer proxy może zmienić odpowiedzi LLM, co może prowadzić do oszustw lub nieprawidłowych decyzji automatycznych.

Firma Noma Security odpowiedzialnie ujawniła lukę w zabezpieczeniach firmie LangChain 29 października 2024 r. Firma LangChain potwierdziła problem i szybko wdrożyła poprawkę 6 listopada 2024 r., przed tym publicznym ujawnieniem.

Oprócz tego firma wprowadziła nowe środki bezpieczeństwa, komunikaty ostrzegawcze i stały baner na stronach z opisami agentów dla użytkowników próbujących klonować agentów z niestandardowymi ustawieniami proxy.

Zarówno Noma Security, jak i LangChain nie znalazły dowodów na aktywną eksploatację, a zagrożeni byli tylko użytkownicy, którzy bezpośrednio współpracowali ze złośliwym agentem. LangChain wyjaśnił również, że luka ograniczała się do funkcji publicznego udostępniania Prompt Hub i nie wpływała na ich główną platformę, agentów prywatnych ani szerszą infrastrukturę.

Incydent podkreśla potrzebę udoskonalenia przez organizacje praktyk bezpieczeństwa AI. Badacze sugerują, że organizacje powinny utrzymywać scentralizowany spis wszystkich agentów AI, korzystając z AI Bill of Materials ( AI BOM) w celu śledzenia ich pochodzenia i komponentów. Wdrożenie zabezpieczeń środowiska wykonawczego i silnego zarządzania bezpieczeństwem dla wszystkich agentów AI ma również kluczowe znaczenie dla ochrony przed ewoluującymi zagrożeniami.