Şirketler GPU’lara daha ucuz erişim arayışına girdikçe alternatif bulutlar hızla artıyor

Alternatif bulutlara olan ilgi hiç bu kadar büyük olmamıştı.

Örnek olay: Hayata kripto para madenciliği operasyonu olarak başlayan GPU altyapı sağlayıcısı CoreWeave, bu hafta Coatue, Fidelity ve Altimeter Capital gibi yatırımcılardan 1,1 milyar dolar yeni fon topladı. Tur, değerlemesini para sonrası 19 milyar dolara, toplamı ise borç ve özsermaye olarak 5 milyar dolara çıkardı; bu, on yaşından küçük bir şirket için dikkate değer bir rakam.

Bu sadece CoreWeave değil.

Aynı zamanda bir dizi bulutta barındırılan GPU örneği de sunan Lambda Labs, 320 milyon dolarlık C Serisi turu tamamladıktan aylar sonra, Nisan ayı başında 500 milyon dolara kadar bir “özel amaçlı finansman aracı” güvence altına aldı. Kripto milyarderi Jed McCaleb tarafından desteklenen kar amacı gütmeyen Gerilim Park, geçtiğimiz Ekim ayında GPU destekli veri merkezlerine 500 milyon dolar yatırım yapacağını duyurdu. Ve aynı zamanda üretken yapay zeka araştırmaları da yürüten bir bulut GPU sunucusu olan Together AI, Mart ayında Salesforce liderliğindeki bir turda 106 milyon dolar elde etti.

Peki neden alternatif bulut alanına olan bu kadar ilgi ve bu alana para akışı?

Cevap, tahmin edebileceğiniz gibi, üretken yapay zekadır.

Üretken yapay zeka patlama süreleri devam ettikçe, üretken yapay zeka modellerini uygun ölçekte çalıştırıp eğitecek donanıma olan talep de artıyor. GPU’lar mimari açıdan eğitim, ince ayar ve model çalıştırma için mantıklı bir seçimdir çünkü üretken modelleri oluşturan doğrusal cebir denklemlerini gerçekleştirmek için paralel olarak çalışabilen binlerce çekirdek içerirler.

Ancak GPU’ları kurmak pahalıdır. Bu nedenle çoğu geliştirici ve kuruluş bunun yerine buluta yöneliyor.

Bulut bilişim alanındaki görevliler (Amazon Web Hizmetleri (AWS), Google Cloud ve Microsoft Azure), üretken yapay zeka iş yükleri için optimize edilmiş GPU ve özel donanım örnekleri konusunda hiçbir eksiklik sunmuyor. Ancak en azından bazı model ve projeler için alternatif bulutlar daha ucuz olabilir ve daha iyi kullanılabilirlik sağlayabilir.

CoreWeave’de, model eğitimi ve çıkarım için popüler bir seçim olan Nvidia A100 40GB kiralamanın maliyeti saat başına 2,39 ABD dolarıdır, bu da ayda 1.200 ABD dolarına denk gelir. Azure’da aynı GPU’nun maliyeti saat başına 3,40 ABD doları veya ayda 2.482 ABD dolarıdır; Google Cloud’da saat başına 3,67 ABD doları veya ayda 2.682 ABD dolarıdır.

Üretken yapay zeka iş yüklerinin genellikle GPU kümeleri üzerinde gerçekleştirildiği göz önüne alındığında, maliyet deltaları hızla büyüyor.

Gartner’ın bulut hizmetleri ve teknolojilerinden sorumlu başkan yardımcısı Sid Nag, TechCrunch’a şunları söyledi: “CoreWeave gibi şirketler, özel ‘hizmet olarak GPU’ bulut sağlayıcıları olarak adlandırdığımız bir pazara katılıyorlar.” “GPU’lara olan yüksek talep göz önüne alındığında, hiper ölçekleyicilere bir alternatif sunuyorlar; Nvidia GPU’larını alıp bu GPU’ları pazarlamak ve bunlara erişim için başka bir yol sağladılar.”

Nag, bazı büyük teknoloji firmalarının bile bilgi işlem kapasitesi zorluklarıyla karşılaştıklarında alternatif bulut sağlayıcılarına yönelmeye başladıklarına dikkat çekiyor.

Geçtiğimiz Haziran ayında CNBC, Microsoft’un, ChatGPT’nin üreticisi ve yakın bir Microsoft ortağı olan OpenAI’nin üretken yapay zeka modellerini eğitmek için yeterli bilgi işlem gücüne sahip olmasını sağlamak amacıyla CoreWeave ile milyarlarca dolarlık bir anlaşma imzaladığını bildirdi. CoreWeave’in çiplerinin büyük bir kısmını sağlayan Nvidia, bunu belki de kaldıraç nedenlerinden dolayı arzu edilen bir trend olarak görüyor; bazı alternatif bulut sağlayıcılarına GPU’larına ayrıcalıklı erişim sağladığı söyleniyor.

Forrester’ın baş analisti Lee Sustar, CoreWeave gibi bulut satıcılarının kısmen, yerleşik sağlayıcıların uğraşmak zorunda olduğu altyapı “bagajına” sahip olmadıkları için başarılı olduklarını düşünüyor.

“Altyapıya ve çok az gelir getiren veya hiç gelir getirmeyen hizmet yelpazesine büyük yatırımlar gerektiren genel genel bulut pazarının aşırı ölçekleyici hakimiyeti göz önüne alındığında, CoreWeave gibi rakipler, hiperkaler düzeyindeki yük olmadan birinci sınıf yapay zeka hizmetlerine odaklanarak başarılı olma fırsatına sahip. Genel olarak yatırımlar” dedi.

Peki bu büyüme sürdürülebilir mi?

Sustar’ın şüpheleri var. Alternatif bulut sağlayıcılarının genişlemesinin, GPU’ları yüksek hacimde çevrimiçi hale getirmeye ve bunları rekabetçi derecede düşük fiyatlarla sunmaya devam edip edemeyeceklerine bağlı olacağına inanıyor.

Google, Microsoft ve AWS gibi yerleşik şirketlerin modelleri çalıştırmak ve eğitmek için özel donanım yatırımlarını artırması nedeniyle fiyatlandırma konusunda rekabet etmek ileride zorlu hale gelebilir. Google, TPU’larını sunar; Microsoft yakın zamanda iki özel çipi tanıttı: Azure Maia ve Azure Cobalt; AWS’de Trainium, Inferentia ve Graviton bulunur.

Sustar, “Hiper ölçekleyiciler Nvidia’ya olan bağımlılıklarını azaltmak için özel silikonlarından yararlanacak, Nvidia ise CoreWeave ve diğer GPU merkezli AI bulutlarına bakacak” dedi.

Ayrıca, birçok üretken yapay zeka iş yükünün GPU’larda en iyi şekilde çalışmasına rağmen, tüm iş yüklerinin bunlara ihtiyacı olmadığı da bir gerçektir; özellikle de zamana duyarlı olmadıklarında. CPU’lar gerekli hesaplamaları çalıştırabilir ancak genellikle GPU’lardan ve özel donanımlardan daha yavaştır.

Daha varoluşsal olarak, üretken yapay zeka balonunun patlaması, sağlayıcıların yığınla GPU’ya sahip olmasına ve bunları talep eden neredeyse yeterli sayıda müşterinin kalmamasına neden olma tehlikesi var. Ancak Sustar ve Nag, geleceğin kısa vadede umut verici göründüğünü söylüyor; her ikisi de yeni başlayan bulutların sürekli akışını bekliyor.

“GPU odaklı bulut girişimleri, [incumbents] Sustar, özellikle zaten çoklu bulut olan ve birden fazla bulutta yönetim, güvenlik, risk ve uyumluluğun karmaşıklığını yönetebilen müşteriler arasında bol miktarda rekabet olduğunu söyledi. “Bu tür bulut müşterileri, eğer güvenilir bir liderliğe, sağlam mali desteğe ve bekleme süresi olmayan GPU’lara sahipse yeni bir yapay zeka bulutunu denemekten çekinmezler.”