Çıkarım tuzağı: Bulut sağlayıcıları yapay zeka kâr marjlarınızı nasıl yiyor?

Bu makale, VentureBeat'in "Yapay Zekanın Gerçek Maliyeti: Ölçekte Performans, Verimlilik ve Yatırım Getirisi" adlı özel sayısının bir parçasıdır. Bu özel sayıdan daha fazlasını okuyun .

Yapay zeka, modern şirketlerin kutsal kasesi haline geldi. Müşteri hizmetleri veya boru hattı bakımı gibi niş bir şey olsun, her alandaki kuruluşlar artık işleri daha verimli hale getirmek için temel modellerden VLA'lara kadar yapay zeka teknolojilerini uyguluyor. Amaç basit: sonuçları daha verimli bir şekilde sunmak ve aynı anda paradan ve kaynaklardan tasarruf etmek için görevleri otomatikleştirin.

Ancak, bu projeler pilot aşamasından üretim aşamasına geçerken, ekipler planlamadıkları bir engelle karşılaşır: bulut maliyetleri marjlarını aşındırır. Etiket şoku o kadar kötüdür ki, bir zamanlar inovasyona ve rekabet avantajına giden en hızlı yol gibi görünen şey, kısa sürede sürdürülemez bir bütçe kara deliğine dönüşür.

Bu, CIO'ları finansal ve operasyonel yönler üzerinde kontrolü yeniden kazanmak için model mimarisinden dağıtım modellerine kadar her şeyi yeniden düşünmeye sevk eder. Bazen, projeleri tamamen kapatıp sıfırdan başlarlar.

Ancak gerçek şu ki: bulut maliyetleri dayanılmaz seviyelere çıkarabilse de, asıl kötü adam o değil. Sadece hangi yolda (iş yükü) ilerlemek için hangi tür aracı (AI altyapısı) seçeceğinizi anlamanız gerekiyor.

Bulut hikayesi ve işe yaradığı yerler

Bulut, toplu taşımacılığa çok benzer (metrolarınız ve otobüsleriniz). Basit bir kiralama modeliyle binersiniz ve anında tüm kaynakları size verir; GPU örneklerinden çeşitli coğrafyalarda hızlı ölçeklendirmeye kadar, sizi hedefinize götürmek için, hepsi minimum çalışma ve kurulumla.

Hizmet modeli aracılığıyla hızlı ve kolay erişim, sorunsuz bir başlangıç ​​sağlar ve projenin hayata geçirilmesine ve özel GPU'lar edinmek için büyük bir ön sermaye harcaması yapılmasına gerek kalmadan hızlı deneyler yapılmasına olanak tanır.

Erken aşamadaki girişimlerin çoğu bu modeli kazançlı buluyor çünkü her şeyden daha çok, özellikle de modeli doğrulama ve ürün-pazar uyumunu belirleme aşamasındayken, hızlı bir dönüşüme ihtiyaç duyuyorlar.

“Bir hesap oluşturuyorsunuz, birkaç düğmeye tıklıyorsunuz ve sunuculara erişim sağlıyorsunuz. Farklı bir GPU boyutuna ihtiyacınız varsa, örneği kapatıp yeni özelliklerle yeniden başlatıyorsunuz; bu da dakikalar alıyor. Aynı anda iki deneyi çalıştırmak istiyorsanız, iki ayrı örneği başlatıyorsunuz. İlk aşamalarda, odak noktası fikirleri hızla doğrulamaktır. Çoğu bulut platformu tarafından sağlanan yerleşik ölçekleme ve deney çerçevelerini kullanmak, kilometre taşları arasındaki süreyi azaltmaya yardımcı olur,” Speechmatics'te sesli AI ürünlerine liderlik eden Rohan Sarin VentureBeat'e söyledi.

Bulut erken aşama kullanımı için mükemmel bir anlam ifade etse de, proje test ve doğrulamadan gerçek dünya hacimlerine geçiş yaptıkça altyapı matematiği kasvetli hale gelir. İş yüklerinin ölçeği faturaları acımasız hale getirir — öyle ki maliyetler bir gecede %1000'in üzerine çıkabilir.

Bu durum, yalnızca hizmetin kesintisiz çalışmasını sağlamak için 7/24 çalışmakla kalmayıp aynı zamanda müşteri talebine göre ölçeklenmesi gereken çıkarım durumunda özellikle geçerlidir.

Sarin, çoğu durumda, diğer müşteriler de GPU erişimi talep ettiğinde çıkarım talebinin arttığını ve kaynaklar için rekabeti artırdığını açıklıyor. Bu gibi durumlarda, ekipler ya ihtiyaç duydukları şeyi aldıklarından emin olmak için ayrılmış bir kapasite tutuyorlar — bu da yoğun olmayan saatlerde boşta GPU süresine yol açıyor — ya da gecikmelerden muzdarip oluyorlar ve bu da aşağı akış deneyimini etkiliyor.

Yapay zeka uyumluluk platformu EasyAudit AI'nın CEO'su Christian Khoury, VentureBeat'e yaptığı açıklamada, çıkarımı yeni "bulut vergisi" olarak tanımladı ve şirketlerin yalnızca çıkarım trafiğinden dolayı bir gecede aylık 5.000 dolardan 50.000 dolara çıktığını söyledi.

Ayrıca, belirteç tabanlı fiyatlandırmaya sahip LLM'leri içeren çıkarım iş yüklerinin en büyük maliyet artışlarını tetikleyebileceğini belirtmekte fayda var. Bunun nedeni, bu modellerin kesin olmaması ve uzun süreli görevleri (büyük bağlam pencerelerini içeren) işlerken farklı çıktılar üretebilmesidir. Sürekli güncellemelerle, LLM çıkarım maliyetlerini tahmin etmek veya kontrol etmek gerçekten zorlaşır.

Bu modellerin eğitimi, kendi adına, "patlamalı" (kümeler halinde meydana gelen) oluyor ve bu da kapasite planlaması için biraz alan bırakıyor. Ancak, bu durumlarda bile, özellikle artan rekabet sık sık yeniden eğitime zorladığında, işletmeler aşırı tedarikten kaynaklanan boş GPU süresinden dolayı büyük faturalarla karşılaşabilir.

"Bulut platformlarındaki eğitim kredileri pahalıdır ve hızlı yineleme döngüleri sırasında sık sık yeniden eğitim almak maliyetleri hızla artırabilir. Uzun eğitim çalışmaları büyük makinelere erişim gerektirir ve çoğu bulut sağlayıcısı yalnızca bir yıl veya daha uzun süre kapasite ayırdığınızda bu erişimi garanti eder. Eğitim çalışmanız yalnızca birkaç hafta sürerse, yılın geri kalanı için yine de ödeme yaparsınız," diye açıkladı Sarin.

Ve, sadece bu değil. Bulut kilitlenmesi çok gerçektir. Uzun vadeli bir rezervasyon yaptığınızı ve bir sağlayıcıdan kredi satın aldığınızı varsayalım. Bu durumda, ekosistemlerine kilitlenirsiniz ve diğer sağlayıcılar daha yeni, daha iyi bir altyapıya taşınmış olsa bile, sundukları her şeyi kullanmak zorunda kalırsınız. Ve son olarak, taşınma olanağına kavuştuğunuzda, büyük çıkış ücretleri ödemeniz gerekebilir.

"Sadece hesaplama maliyeti değil. Tahmin edilemeyen otomatik ölçekleme ve bölgeler veya satıcılar arasında veri taşıyorsanız çılgın çıkış ücretleri elde ediyorsunuz. Bir ekip, modellerini eğitmektense veri taşımak için daha fazla ödeme yapıyordu," diye vurguladı Sarin.

Ölçeklenebilir yapay zeka çıkarımının sürekli altyapı talebi ve eğitimin ani doğası göz önüne alındığında, işletmeler iş yüklerini bölmeye yöneliyor; çıkarımı ortak yerleşime veya şirket içi yığınlara taşıyor, eğitimi ise spot örneklerle buluta bırakıyor.

Bu sadece bir teori değil; mühendislik liderleri arasında, çok fazla zaman harcamadan yapay zekayı üretime sokmaya çalışan büyüyen bir hareket.

"Ekiplerin çıkarım için kendilerinin kontrol ettiği özel GPU sunucularını kullanarak ortak yerleşime geçmelerine yardımcı olduk. Bu çekici değil, ancak aylık altyapı harcamalarını %60-80 oranında azaltıyor," diye ekledi Khoury. "Hibrit sadece daha ucuz değil, aynı zamanda daha akıllı."

Bir vakada, bir SaaS şirketinin çıkarım iş yüklerini buluttan taşıyarak aylık AI altyapı faturasını yaklaşık 42.000 dolardan sadece 9.000 dolara düşürdüğünü söyledi. Geçiş iki haftadan kısa sürede kendini amorti etti.

Bir AI müşteri destek aracı için tutarlı 50 ms'nin altındaki yanıtlar gerektiren başka bir ekip, bulut tabanlı çıkarım gecikmesinin yetersiz olduğunu keşfetti. Çıkarımı, ortak yerleşim yoluyla kullanıcılara daha yakın bir yere kaydırmak yalnızca performans darboğazını çözmekle kalmadı, aynı zamanda maliyeti de yarıya indirdi.

Kurulum genellikle şu şekilde çalışır: her zaman açık ve gecikmeye duyarlı olan çıkarım, şirket içinde veya yakındaki bir veri merkezinde (ortak yerleşim tesisi) ayrılmış GPU'larda çalışır. Bu arada, yoğun hesaplama gerektiren ancak seyrek olan eğitim, bulutta kalır ve burada talep üzerine güçlü kümeler oluşturabilir, birkaç saat veya gün boyunca çalıştırabilir ve kapatabilirsiniz.

Genel olarak, hiper ölçekli bulut sağlayıcılarından kiralamanın, daha küçük sağlayıcılarla çalışmaya kıyasla GPU saati başına üç ila dört kat daha pahalı olabileceği tahmin ediliyor; bu fark, şirket içi altyapıyla karşılaştırıldığında daha da önemli.

Diğer büyük bonus? Tahmin edilebilirlik.

Şirket içi veya ortak yerleşim yığınlarıyla ekipler, çıkarım iş yüklerinin beklenen temel çizgisi için sağlamak veya eklemek istedikleri kaynak sayısı üzerinde de tam kontrole sahiptir. Bu, altyapı maliyetlerine öngörülebilirlik getirir ve sürpriz faturaları ortadan kaldırır. Ayrıca ölçeklemeyi ayarlamak ve bulut altyapı maliyetlerini makul düzeyde tutmak için agresif mühendislik çabasını da azaltır.

Hibrit kurulumlar ayrıca zamana duyarlı yapay zeka uygulamaları için gecikmeyi azaltmaya yardımcı olur ve özellikle finans, sağlık ve eğitim gibi veri yerleşiminin ve yönetiminin pazarlık konusu olmadığı sıkı düzenlemelere tabi sektörlerde faaliyet gösteren ekipler için daha iyi uyumluluk sağlar.

Her zaman olduğu gibi, hibrit bir kuruluma geçiş kendi işletim vergisiyle birlikte gelir. Kendi donanımınızı kurmak veya bir yerleşim tesisi kiralamak zaman alır ve GPU'ları bulut dışında yönetmek farklı bir tür mühendislik gücü gerektirir.

Ancak liderler, karmaşıklığın sıklıkla abartıldığını ve aşırı ölçekte faaliyet gösterilmediği sürece genellikle şirket içinde veya dış destekle yönetilebileceğini savunuyorlar.

"Hesaplamalarımız, bir şirket içi GPU sunucusunun, bir yıllık ayrılmış oran olsa bile, AWS, Azure veya Google Cloud'dan eşdeğer örneği kiralamanın altı ila dokuz ayına yakın bir maliyeti olduğunu gösteriyor. Donanım genellikle en az üç yıl ve sıklıkla beşten fazla sürdüğü için, bu ilk dokuz ay içinde maliyet açısından olumlu hale geliyor. Bazı donanım satıcıları ayrıca sermaye altyapısı için operasyonel fiyatlandırma modelleri sunuyor, böylece nakit akışı endişesi varsa ön ödeme yapmaktan kaçınabilirsiniz," diye açıkladı Sarin.

İster yeni kurulan bir şirket ister kurumsal bir şirket olsun, yapay zeka altyapısını tasarlarken veya yeniden tasarlarken başarının anahtarı, eldeki belirli iş yüklerine göre çalışmaktır.

Farklı AI iş yüklerinin yükünden emin değilseniz, bulutla başlayın ve her kaynağı sorumlu ekiple etiketleyerek ilişkili maliyetleri yakından takip edin. Bu maliyet raporlarını tüm yöneticilerle paylaşabilir ve ne kullandıklarını ve kaynaklar üzerindeki etkisini derinlemesine inceleyebilirsiniz. Bu veriler daha sonra netlik sağlayacak ve verimliliği artırmanın yolunu açacaktır.

Bununla birlikte, önemli olanın bulutu tamamen ortadan kaldırmak olmadığını; verimliliği en üst düzeye çıkarmak için kullanımını optimize etmek olduğunu unutmayın.

“Bulut, deney ve ani eğitim için hala harika. Ancak çıkarım temel iş yükünüzse, kira koşuşturmacasından inin. Hibrit sadece daha ucuz değil... Daha akıllı,” diye ekledi Khoury. “Bulutu bir prototip gibi ele alın, kalıcı bir yuva gibi değil. Matematiği yapın. Mühendislerinizle konuşun. Bulut, yanlış araç olduğunu size asla söylemez. Ancak AWS faturanız söyler.”