Cerebras, 8 exaFLOP’a ulaşabilen bir yapay zeka süper bilgisayarı olan Condor Galaxy 3’te çığır açıyor

Beyinler Ve G42 sekiz exaFLOP performansa ulaşabilen bir yapay zeka süper bilgisayarı olan Condor Galaxy 3’te çığır açtıklarını söyledi.

Kaliforniya merkezli Sunnyvale’in CEO’su Andrew Feldman, bunun 58 milyondan fazla yapay zeka için optimize edilmiş çekirdekle sağlanacak çok fazla performans olduğunu söyledi. BeyinlerVentureBeat ile yaptığı röportajda. Ve Birleşik Arap Emirlikleri’nin Abu Dabi kentinde bulunan, ulusal ölçekte bir bulut ve üretken yapay zeka sağlayıcısı olan G42’ye gidecek. Feldman, bunun dünyanın en büyük yapay zeka süper bilgisayarlarından biri olacağını söyledi.

Cerebras’ın yeni duyurulan CS-3 sistemlerinden 64’ünü içeren – tümü Feldman’ın söylediğine göre endüstrinin en hızlı yapay zeka çipi olan Wafer-Scale Engine 3 (WSE-3) tarafından destekleniyor – Condor Galaxy, 58 milyon yapay zeka ile 8 exaFLOP yapay zeka sunacak. optimize edilmiş çekirdekler

“Büyük, hızlı yapay zekalı süper bilgisayarlar ürettik. Kümeler oluşturmaya başladık ve kümeler büyüdü, sonra küme daha da büyüdü” dedi Feldman. “Sonra dev modelleri üzerlerinde eğitmeye başladık.”

“Çip” söz konusu olduğunda Cerebras’ın oldukça benzersiz bir yaklaşımı var. Şirket, çekirdeklerini küçük olacak şekilde tasarlıyor ancak çekirdekler, normalde yüzlerce çip için kullanılan yarı iletken levhanın tamamına yayılmış durumda. Çipleri için aynı alt tabakayı kullanarak iletişimi hızlandırır ve işlemeyi daha verimli hale getirir. Bu sayede 900.000 çekirdeği tek bir çipe, daha doğrusu oldukça büyük bir levhaya sığdırabiliyor.

Dallas, Teksas’ta bulunan Condor Galaxy 3, Condor Galaxy yapay zeka süper bilgisayar ağının üçüncü kurulumudur. Cerebras ve G42 stratejik ortaklığı, her biri dünyadaki en büyük yapay zeka süper bilgisayarları arasında yer alan Condor Galaxy 1 ve Condor Galaxy 2 aracılığıyla şimdiden 8 exaFLOP yapay zeka süper bilgi işlem performansı sağladı.

Condor Galaxy 3, Condor Galaxy ağının mevcut toplamını 16 exaFLOP’a çıkarıyor. Condor Galaxy, 2024’ün sonuna kadar 55 exaFLOP’tan fazla yapay zeka hesaplaması sunacak. Genel olarak Cerebras, G42 için dokuz yapay zeka süper bilgisayarı üretecek.

G42 Grup CTO’su Kiril Evtimov yaptığı açıklamada, “Condor Galaxy 3 ile, dünyanın en büyük ve en hızlı yapay zeka süper bilgisayarlarını geliştirerek dünya çapındaki yapay zeka bilgi işlem envanterini dönüştürme yönündeki ortak vizyonumuza ulaşmaya devam ediyoruz” dedi. “Mevcut Condor Galaxy ağı, milyonlarca indirmeyle sektördeki önde gelen açık kaynaklı modellerden bazılarını eğitmiştir ve Condor Galaxy süper bilgisayarlarının iki kat performansla mümkün kılabileceği bir sonraki yenilik dalgasını görmeyi sabırsızlıkla bekliyoruz.”

Condor Galaxy 3’ü içeren 64 Cerebras CS-3 sisteminin kalbinde yer alan yeni WSE-3 5 nanometre çipi, aynı güç ve maliyetle iki kat performans sunuyor. Sektörün en büyük yapay zeka modellerini eğitmek amacıyla tasarlanan dört trilyon transistör WSE-3, çip başına 900.000 yapay zeka için optimize edilmiş çekirdekle 125 petaflopluk şaşırtıcı bir zirve yapay zeka performansı sunuyor.

Feldman, “Yeni duyurulan CS-3 sistemlerimizin G42 ile öncü stratejik ortaklığımızda kritik bir rol oynamasından onur duyuyoruz” dedi. “Condor Galaxy 3’ten Condor Galaxy 9’a kadar her biri yeni CS-3’lerin 64’ünü kullanacak ve sunacağımız bilgi işlem miktarını 36 exaFLOP’tan 55 exaFLOP’un üzerine çıkaracak. Bu, yapay zeka hesaplamasında önemli bir dönüm noktasına işaret ediyor ve benzersiz işlem gücü ve verimliliği sağlıyor.”

Condor Galaxy, Jais-30B, Med42, Crystal-Coder-7B ve BTLM-3B-8K dahil olmak üzere üretken yapay zeka modellerini eğitti. Jais 13B ve Jais30B, dünyanın en iyi iki dilli Arapça modelleridir ve artık Azure Cloud’da mevcuttur. Şirket, BTLM-3B-8K’nin HuggingFace’teki bir numaralı lider 3B modeli olduğunu ve çıkarım için hafif bir 3B parametre modelinde 7B parametre performansı sunduğunu söyledi.

M42 ve Core42 ile geliştirilen Med42, bir hafta sonu Condor Galaxy 1 üzerinde eğitim almış ve performans ve doğruluk açısından MedPaLM’i geride bırakmış, önde gelen bir klinik LLM’dir.

Condor Galaxy 3, 2024’ün 2. çeyreğinde satışa sunulacak.

Gofret Ölçeği Motoru 3

Öte yandan Cerebras süper bilgisayara güç veren çipten bahsetti. Wafer Scale Engine 3’ün piyasaya sürülmesiyle mevcut en hızlı yapay zeka çipi dünya rekorunu iki katına çıkardığını söyledi.

WSE-3, aynı güç tüketiminde ve aynı fiyata önceki rekor sahibi Cerebras WSE-2’nin iki katı performans sunuyor. Sektörün en büyük yapay zeka modellerini eğitmek amacıyla tasarlanan 5 nm tabanlı, 4 trilyon transistörlü WSE-3, Cerebras CS-3 yapay zeka süper bilgisayarına güç vererek 900.000 yapay zeka için optimize edilmiş bilgi işlem çekirdeği aracılığıyla 125 petaflopluk en yüksek yapay zeka performansını sunuyor.

Feldman, bilgisayarın 150 palet halinde teslim edileceğini söyledi.

“Mevcut nesil levha ölçekli motorumuz için beş nanometrelik parçamızı duyuruyoruz. Bu dünyadaki en hızlı çip. TSMC’de üretilen 46.000 milimetrekarelik bir parça. Beş nanometrelik düğümde 4 trilyon transistör, 900.000 yapay zeka çekirdeği ve 125 petaflop yapay zeka hesaplaması bulunuyor” dedi.

1,2 petabayta kadar devasa bir bellek sistemiyle CS-3, GPT-4 ve Gemini’den 10 kat daha büyük yeni nesil sınır modellerini eğitmek için tasarlandı. 24 trilyon parametreli model, bölümlendirmeye veya yeniden düzenlemeye gerek kalmadan tek bir mantıksal bellek alanında depolanabilir, bu da eğitim iş akışını önemli ölçüde basitleştirir ve geliştirici üretkenliğini hızlandırır. Bir trilyon parametreli modeli CS-3’te eğitmek, bir milyar parametreli modeli GPU’larda eğitmek kadar basittir.

CS-3, hem kurumsal hem de hiper ölçekli ihtiyaçlar için tasarlanmıştır. Kompakt dört sistem konfigürasyonu, 70B modellerine bir günde ince ayar yapabilirken, tam ölçekte 2048 sistemi kullanan Llama 70B, tek bir günde sıfırdan eğitilebiliyor; bu, üretken yapay zeka için benzeri görülmemiş bir başarı.

En yeni Cerebras Yazılım Çerçevesi, PyTorch 2.0 ve çok modlu modeller, görüntü transformatörleri, uzman karışımı ve yayılma gibi en yeni yapay zeka modelleri ve teknikleri için yerel destek sağlar. Cerebras, dinamik ve yapılandırılmamış seyreklik için yerel donanım hızlandırması sağlayan ve eğitimi sekiz kata kadar hızlandıran tek platform olmaya devam ediyor.

“Sekiz yıl önce bu yolculuğa başladığımızda herkes yonga levha ölçekli işlemcilerin boş bir hayal olduğunu söyledi. Feldman, “Çığır açan su ölçekli yapay zeka çipimizin üçüncü neslini tanıtmaktan daha fazla gurur duyamayız” dedi. “WSE-3, uzmanlardan 24 trilyon parametreli modellere kadar en son teknolojiye sahip yapay zeka çalışmaları için özel olarak tasarlanmış, dünyadaki en hızlı yapay zeka çipidir. Günümüzün en büyük yapay zeka zorluklarını çözmeye yardımcı olmak amacıyla WSE-3 ve CS-3’ü pazara sunmaktan büyük heyecan duyuyoruz.”

Her bileşenin yapay zeka çalışması için optimize edilmesiyle CS-3, diğer tüm sistemlerden daha az alan ve daha az güçle daha fazla bilgi işlem performansı sunar. GPU’nun güç tüketimi nesilden nesile iki katına çıkarken CS-3 performansı iki katına çıkarır ancak aynı güç aralığında kalır. CS-3, LLM’ler için GPU’lara göre %97 daha az kod gerektirmesi ve 1B’den 24T parametrelerine kadar değişen modelleri tamamen veri paralel modunda eğitme yeteneği ile üstün kullanım kolaylığı sunar. GPT-3 boyutlu bir modelin standart uygulaması, Cerebras’ta yalnızca 565 satır kod gerektiriyordu; bu bir endüstri rekoruydu.

Feldman, “24 trilyon parametreye kadar modelleri destekliyoruz” dedi.

Endüstri ortaklıkları ve müşteri ivmesi

Cerebras’ın halihazırda kurumsal, devlet ve uluslararası bulutlar genelinde CS-3 için oldukça büyük bir sipariş birikimi var.

Rick Stevens şöyle konuştu: “En başından beri Cerebras çözümlerinin ilk müşterisiydik ve Cerebras levha ölçeği teknolojisinin sağladığı 100x-300x performans iyileştirmeleri sayesinde bilimsel ve tıbbi yapay zeka araştırmalarımızı hızla hızlandırabildik.” Argonne Ulusal Laboratuvarı Bilgisayar, Çevre ve Yaşam Bilimleri Laboratuvarı Direktörü, bir açıklamada. “CS-3’ün aynı güç aralığında iki kat performansla ne gibi ilerlemeler sağlayacağını görmek için sabırsızlanıyoruz.”

Qualcomm anlaşması

Bu hafta Cerebras ayrıca, Cerebras’ın CS-3’teki çıkarım farkındalığı eğitiminin avantajları aracılığıyla yapay zeka çıkarımında 10 kat daha fazla performans sağlamak amacıyla Qualcomm ile yeni bir teknik ve GTM işbirliğini duyurdu.

“Cerebras ile teknoloji işbirliğimiz, müşterilerimize en iyi performans/TCO$ çıkarım çözümüyle birlikte en yüksek performanslı yapay zeka eğitim çözümünü sunmamızı sağlıyor. Buna ek olarak, müşteriler tamamen optimize edilmiş dağıtıma hazır modeller alabilecek ve böylece yatırım getirisi süresini de radikal bir şekilde azaltabilecekler” dedi Qualcomm bulut bilişim başkan yardımcısı Rashid Attar, bir beyanında.

Eğitim için Cerebras’ın endüstri lideri CS-3 AI hızlandırıcılarını ve çıkarım için Qualcomm Cloud AI 100 Ultra’yı kullanarak, üretim düzeyindeki dağıtımlar, fiyat-performans oranında 10 kat artış sağlayabilir.

“Çıkarım motorları için optimize edilmiş modelleri eğitmek amacıyla Qualcomm ile küresel bir ortaklığın duyurusunu yapıyoruz. Feldman, “Ve böylece bu ortaklık, bize özel olan ve çıkarım maliyetini radikal bir şekilde azaltmak için daha geniş çapta mevcut olan bir takım teknikleri kullanmamıza olanak tanıyor” dedi. “Yani bu, birden fazla farklı stratejiye ilişkin çıkarımı hızlandırabilecek modelleri eğiteceğimiz bir ortaklık.”

Cerebras’ın 400’den fazla mühendisi var. “Çok büyük miktarlardaki bilgi işlemi zamanında teslim etmek zordur. Ve bu kategoride başka bir oyuncu olduğunu düşünmüyorum. Son altı ayda sahip olduğumuz bilgi işlem miktarını sağlayan herhangi bir girişim. Feldman, Qualcomm’la birlikte çıkarım maliyetini aşağı çekiyoruz” dedi.