Dlaczego niektóre modele AI emitują 50 razy więcej gazów cieplarnianych, aby odpowiedzieć na to samo pytanie

Podoba się nam to czy nie, duże modele językowe szybko stały się częścią naszego życia. A ze względu na ich intensywne zapotrzebowanie na energię i wodę, mogą również powodować, że jeszcze szybciej pogrążamy się w chaosie klimatycznym. Jednak niektóre LLM mogą uwalniać więcej zanieczyszczeń ocieplających planetę niż inne, jak wynika z nowego badania.
Zapytania do niektórych modeli generują do 50 razy więcej emisji dwutlenku węgla niż inne, zgodnie z nowym badaniem opublikowanym w Frontiers in Communication . Niestety, i być może nie jest to zaskakujące, modele, które są dokładniejsze, mają tendencję do największych kosztów energii.
Trudno oszacować, jak bardzo LLM są szkodliwe dla środowiska, ale niektóre badania sugerują, że trenowanie ChatGPT zużywa do 30 razy więcej energii niż przeciętny Amerykanin zużywa w ciągu roku. Nie wiadomo, czy niektóre modele mają wyższe koszty energii niż ich odpowiedniki, gdy odpowiadają na pytania.
Naukowcy z Uniwersytetu Nauk Stosowanych Hochschule München w Niemczech ocenili 14 modeli LLM obejmujących od 7 do 72 miliardów parametrów — dźwigni i pokręteł, które precyzyjnie dostrajają rozumienie i generowanie języka przez model — odpowiadając na 1000 pytań testowych z różnych dziedzin.
LLM konwertują każde słowo lub części słów w monicie na ciąg liczb zwany tokenem. Niektóre LLM, szczególnie LLM rozumujące, wstawiają również specjalne „tokeny myślenia” do sekwencji wejściowej, aby umożliwić dodatkowe wewnętrzne obliczenia i rozumowanie przed wygenerowaniem wyniku. Ta konwersja i późniejsze obliczenia, które LLM wykonuje na tokenach, wykorzystują energię i uwalniają CO2.
Naukowcy porównali liczbę tokenów wygenerowanych przez każdy z testowanych modeli. Modele rozumowania tworzyły średnio 543,5 tokenów myślenia na pytanie, podczas gdy modele zwięzłe wymagały zaledwie 37,7 tokenów na pytanie, jak wykazało badanie. Na przykład w świecie ChatGPT GPT-3.5 jest modelem zwięzłym, podczas gdy GPT-4o jest modelem rozumowania.
Autorzy odkryli, że ten proces rozumowania zwiększa zapotrzebowanie na energię. „Wpływ na środowisko kwestionowania wyszkolonych LLM jest silnie zdeterminowany przez ich podejście rozumowania” — powiedział w oświadczeniu autor badania Maximilian Dauner, badacz z Hochschule München University of Applied Sciences. „Odkryliśmy, że modele oparte na rozumowaniu generowały do 50 razy więcej emisji CO2 niż modele zwięzłej odpowiedzi”.
Im dokładniejsze były modele, tym więcej emisji dwutlenku węgla generowały, jak wykazało badanie. Model rozumowania Cogito, który ma 70 miliardów parametrów, osiągnął dokładność do 84,9% — ale wygenerował również trzy razy więcej emisji CO2 niż podobnej wielkości modele, które generują bardziej zwięzłe odpowiedzi.
„Obecnie widzimy wyraźny kompromis między dokładnością a zrównoważonym rozwojem, nieodłącznie związany z technologiami LLM” — powiedział Dauner. „Żaden z modeli, który utrzymywał emisje poniżej 500 gramów ekwiwalentu CO2, nie osiągnął dokładności wyższej niż 80% w przypadku prawidłowych odpowiedzi na 1000 pytań”. Ekwiwalent CO2 to jednostka używana do pomiaru wpływu różnych gazów cieplarnianych na klimat.
Innym czynnikiem był temat. Pytania wymagające szczegółowego lub złożonego rozumowania, na przykład abstrakcyjnej algebry lub filozofii, prowadziły do sześciokrotnie wyższych emisji niż prostsze tematy, zgodnie z badaniem.
Są jednak pewne zastrzeżenia. Emisje są bardzo zależne od tego, jak zbudowane są lokalne sieci energetyczne i jakie modele badasz, więc nie jest jasne, jak uogólnialne są te ustalenia. Mimo to autorzy badania powiedzieli, że mają nadzieję, że praca zachęci ludzi do „selektywnego i rozważnego” korzystania z LLM.
„Użytkownicy mogą znacznie ograniczyć emisje, nakazując sztucznej inteligencji generowanie zwięzłych odpowiedzi lub ograniczając stosowanie modeli o dużej wydajności do zadań, które rzeczywiście wymagają takiej mocy” – powiedział Dauner w oświadczeniu.
gizmodo