Etched, transformatör çipleriyle AI’da Nvidia’ya meydan okumak için 120 milyon dolar topladı

kazınmış Yapay zeka çiplerinin tasarlanması konusunda Nvidia’ya meydan okumak için 120 milyon dolar topladığını duyurdu.

Etched, yapay zeka işlemenin kritik bir bölümünü ele alan Sohu adında yeni bir çip tasarlıyor: dönüşüm. Şirket, transformatör mimarisini çiplerine yakarak, transformatör çıkarımı için dünyanın en güçlü sunucularını yarattığını söyledi. Etched, bunun tüm zamanların en hızlı transformatör çipi olduğunu söylüyor.

Rakiplerinden birinin, geçen hafta dünyanın en değerli şirketi olarak Microsoft’u geride bırakarak 3,3 trilyon dolarlık değere ulaşan Nvidia olduğu göz önüne alındığında bu ilginç. Etched, 35 kişilik ekibinin Nvidia’yı yenebileceğine inanıyor ve bu yüzden Peter Thiel gibi insanlar Etched’ı destekliyor.

Birincil Girişim Ortakları ve Pozitif Toplamlı Girişimler, Hummingbird, Fundomo, Fontinalis, Lightscape, Earthshot, Two Sigma (stratejik) ve Skybox Veri Merkezleri (stratejik) gibi kurumsal yatırımcıların desteğiyle tura liderlik etti.

Melek yatırımcılar arasında Peter Thiel, Stanley Druckenmiller, David SiegelBalaji Srinivasan, Amjad Masad, Kyle Vogt, Kevin Hartz, Jason Warner, Thomas Dohmke, Bryan Johnson, Mike Novogratz, Immad Akhund, Jawed Karim ve Charlie Cheeve.

Thiel Bursu direktörü Alex Handy yaptığı açıklamada şunları söyledi: “Etched’e yatırım yapmak, yapay zekanın değeri üzerine stratejik bir bahistir. Çipleri, rakiplerin çözmekten korktuğu ölçeklenebilirlik sorunlarını çözüyor ve rakipleri arasında yaygın olan durgunluğa meydan okuyor. Etched’in kurucuları, desteklediğimiz alışılmadık yetenekleri temsil ediyor; yarı iletken endüstrisini üstlenmek için Harvard’ı bırakıyorlar. Silikon Vadisi’nin geri kalanının, üzerinde çalıştıkları şeyin temelindeki teknolojiye ilişkin endişelerin yükünü taşımadan, barışçıl bir şekilde programlamaya devam edebilmesi için çok çalıştılar.”

Harvard Üniversitesi’nden ayrılan üç kurucu tarafından kurulan bir şirket için fena değil: Robert Wachen, Gavin Uberti ve Chris Zhu. Yeni bir blog yazısında kurucular, şirketin Haziran 2022’de yapay zeka konusunda en büyük bahsi, yeni bir yapay zeka modelinin dünyayı ele geçireceğine dair bahse girdiğini söyledi: transformatör.

O zamanlar birçok türde yapay zeka modeli, sürücüsüz arabalar için CNN’ler, dil için RNN’ler ve görüntü ve video oluşturmak için U-Net’ler vardı. Ancak transformatörler (ChatGPT’deki “T”) ölçeklenebilen ilk modeldi.

CEO Gavin Uberti, blog yazısında şunları söyledi: “İstihbarat bilgi işlemle birlikte ölçeklenmeye devam ederse, yıllar içinde şirketlerin tamamı özel çiplerle çalışan yapay zeka modellerine milyarlarca dolar harcayacağına bahse gireriz.” “Geçtiğimiz iki yılı, transformatörler için dünyanın ilk özel çipi (ASIC) olan Sohu’yu inşa etmek için harcadık. Transformatör mimarisini çipimize yaktık ve geleneksel yapay zeka modellerini çalıştıramıyoruz: Instagram feed’inizi destekleyen DLRM’ler, biyo laboratuvarındaki protein katlama modelleri veya veri bilimindeki doğrusal regresyonlar.”

Uberti şunu ekledi: “CNN’leri, RNN’leri veya LSTM’leri de çalıştıramıyoruz. Ancak transformatörler için Sohu tüm zamanların en hızlı çipidir. Yakın bile değil. Sohu, Nvidia’nın metin, ses, görüntü ve video transformatörlerine yönelik yeni nesil Blackwell (GB200) GPU’larından bile çok daha hızlı ve daha ucuz.”

Uber, başladığından beri her büyük yapay zeka modelinin (ChatGPT, Sora, Gemini, Stable Diffusion 3, Tesla FSD, vb.) transformatör haline geldiğini söyledi. Transformatörlerin yerini aniden SSM’ler, monarşik karıştırıcılar veya
Başka herhangi bir mimaride Etched’in çipleri işe yaramaz hale gelecektir.

“Ama eğer haklıysak Sohu dünyayı değiştirecek” dedi. “4nm düğümlerinde üretime başlamak için TSMC ile ortaklık yapmaktan heyecan duyuyoruz. Mühendisler tüm büyük yapay zeka çip projelerini Sohu’yu inşa etmek için bıraktılar.

Bu bahsi neden yapasınız ki?

Şirket, süper zeka için ihtiyacınız olan tek şeyin ölçeğin olduğunu söyledi. Beş yıl içinde yapay zeka modelleri, çoğu standart testte anlamsız olmaktan çıkıp insanlardan daha akıllı hale geldi. Tek bir açıklaması var: ölçek.

Yapay zeka modellerini büyüterek ve onlara daha fazla (ve daha iyi) eğitim verisi besleyerek yapay zeka modelleri mucizevi bir şekilde daha akıllı hale gelir. Son teknoloji ürünü modeli eğitmek için kullanılan FLOPS miktarı, GPT-2 ile Llama-3-400B arasında yalnızca beş yıl içinde 50.000 $ x $ arttı.

Mimariler standartlaştı: Llama 3 gibi günümüzün en son teknolojiye sahip modelleri, normalleştirme, dikkat, aktivasyon işlevleri ve düzenleme gibi ayarlamalar dışında, yıllar önce sunulan son teknoloji modellerle (GPT-2) neredeyse aynı. konumsal kodlamalar

Uberti, bu eğilimin devam edeceğini söyledi. Google, OpenAI, Amazon ve Microsoft’un her biri yapay zeka veri merkezlerine 100 milyar dolardan fazla harcıyor. Bazı akademisyenler aynı fikirde olmasa da tüm büyük yapay zeka laboratuvarları, yüksek lisans (LLM) ölçeklendirmesinin bize süper zeka getireceğine inanıyor.

“Tüm zamanların en büyük altyapı inşasını yaşıyoruz. Ölçeklendirme yasaları son on büyüklük sırası için geçerlidir ($10^{16}$’dan $10^{26}$ FLOPS’a kadar). Sonraki dördü için de geçerli olurlarsa (10^{30}$ FLOPS’a kadar), süper zekaya ulaşacağız ve yapay zeka çipleri tüm zamanların en büyük pazarı haline gelecektir,” dedi Uberti.

Esnek çiplerin gelişimi durduruldu

Model mimarileri hızla değişiyordu. On yıl içinde CNN’leri, DLRM’leri, LSTM’leri, RNN’leri ve çeşitli alanlar için son teknoloji olan düzinelerce başka mimariyi icat ettik. Bu modellerin her birinin maliyeti 10 ila 20 milyon dolar arasındaydı ve yapay zeka çiplerinin toplam pazarı 10 ila 20 milyar dolar arasındaydı.

Bu geniş ve sığ pazara hizmet etmek için birçok şirket, çeşitli mimarileri idare edebilecek esnek yapay zeka çipleri üretti. Birkaçını saymak gerekirse: Nvidia’nın GPU’ları, Google’ın TPU’ları, Amazon’un Trainium’u, AMD’nin hızlandırıcıları, Graphcore’un IPU’ları, SambaNova SN Serisi, Cerebras’ın CS-2’si, Groq’un GroqNode’u, Tenstorrent’in Grayskull’u, D-Matrix’in Corsair’i, Cambricon’un Siyuan’ı ve Intel’in Gaudi’si. Bu arada, çok fazla rakip var.

Uberti, bu şirketlerin çiplerinin hepsinin Nvidia H100’den daha kötü olduğunu söyledi. Bazıları iyileştirme iddia etse de (örneğin AMD’nin MI300X’i 1,3 PFLOPS FP16’ya sahipken, Nvidia’nın H100’ü 0,99 PFLOPS FP16’ya sahip), Uberti bunun daha fazla çipin bir araya getirilmesi ve bunların aynı çip olarak sayılmasından kaynaklandığını söyledi.

Nvidia B200, AMD MI300, Intel Gaudi 3, Amazon Trainium2 ve diğer birçok model, performanslarını ikiye katlamak için iki çipi tek kart olarak sayıyor. 2022’den 2025’e kadar tüm performans iyileştirmeleri bu numaradan gelecek… Etched hariç.

2022-2025 yılları arasında 5 nm’den türetilmiş tüm yapay zeka çiplerinin grafiği, alan başına performansın iyileşmediğini, çiplerin yalnızca büyüdüğünü gösteriyor. Gerçek performans iyileştirmelerinin olmadığı durumlarda GPU’ları kapatmanın tek nedeni daha ucuz olmaktır. AMD bunu MI300X ile yapıyor ve Nvidia’dan 10 kat daha az çip satıyor. %20 daha kötü ve %40 daha ucuz olmak, yazılım yığınınızı değiştirmeniz için yeterli değildir.

Özel çipler kaçınılmazdır

Uberti, her büyük, homojen bilgi işlem pazarının özel çiplerle sonuçlandığını söyledi: ağ oluşturma, Bitcoin madenciliği, yüksek frekanslı ticaret algoritmaları silikonun içine sabit kodlanmıştır.

Bu çipler GPU’lardan çok daha hızlıdır. Bitcoin madenciliği için GPU’ları kullanan sıfır şirket var; uzman bitcoin madencileriyle rekabet edemiyorlar. Bu yapay zeka için gerçekleşecek. Uberti, trilyonlarca doların söz konusu olduğu düşünüldüğünde uzmanlaşmanın kaçınılmaz olduğunu söyledi.

“Harcamaların (ve değerin) büyük çoğunluğunun 10 trilyondan fazla parametreye sahip modellerde olacağına inanıyoruz. Sürekli gruplamanın ekonomisi nedeniyle bu modeller bulutta birkaç düzine MegaCluster’dan birinde çalıştırılacak” dedi Uberti. “Bu eğilim çip fabrikalarını yansıtacak: Eskiden yüzlerce ucuz düşük çözünürlüklü fabrika vardı ve şimdi yüksek çözünürlüklü fabrikaların inşası ~20 milyar ila 40 milyar dolar arasında bir maliyete sahip. Dünyada yalnızca birkaç MegaFab var ve hepsi çok benzer temel mimarileri kullanıyor (EUV, 858 mm^2 retiküller, 300 mm levhalar, vb.).”

Etched, transformatörün çok büyük anahtarlama maliyetlerine sahip olduğunu söyledi. Transformatörlere göre faydaları olan yeni bir mimari icat edilse bile, çekirdekleri yeniden yazma, spekülatif kod çözme gibi özellikleri yeniden oluşturma, yeni özel donanım oluşturma, ölçeklendirme yasalarını yeniden test etme ve ekibinizi yeniden eğitme konusundaki sürtünme çok büyüktür. Uberti, çiplerde olduğu gibi bu durumun yalnızca on yılda bir veya iki kez gerçekleşeceğini söyledi: Uberti, litografi, retikül/wafer boyutu ve fotorezist kompozisyonundaki değişikliklerin olmaya devam ettiğini, ancak bunun çok yavaş gerçekleştiğini söyledi.

“Yapay zeka modellerini ne kadar ölçeklendirirsek, model mimarilerini de o kadar merkezileştireceğiz. Yenilik başka yerlerde de gerçekleşecek: spekülatif kod çözme, ağaç arama ve yeni örnekleme algoritmaları.” dedi Uberti. “Modellerin eğitilmesinin 10 milyar dolara, çiplerin üretiminin ise 50 milyon dolara mal olduğu bir dünyada, özel çipler kaçınılmazdır. Bunları ilk yapan şirket kazanır.”

Kazınmış ilk olacak

Etched, şimdiye kadar hiç kimsenin mimariye özel bir yapay zeka çipi oluşturmadığını ileri sürdü. Geçen yıl bile hiçbir anlamı yoktu. Mimariye özgü bir çip, büyük bir talep ve kalıcı gücüne dair derin bir inanç gerektirir.

Uberti, “Transformatörlere bahis oynadık ve her iki gereksinim de gerçeğe dönüşüyor” dedi.

Pazarın benzeri görülmemiş bir talebe ulaştığını kaydetti. Başladığında transformatör çıkarımı pazarı 50 milyon doların altındaydı ve şimdi 5 milyar doların üzerinde. Tüm büyük teknoloji şirketleri transformatör modellerini kullanıyor (OpenAI, Google, Amazon, Microsoft, Facebook vb.).

Uberti, mimaride yakınlaşma gördüklerini söyledi: Yapay zeka modelleri eskiden çok değişiyordu. Ancak GPT-2’den bu yana en son teknolojiye sahip model mimarileri neredeyse aynı kaldı. OpenAI’nin GPT ailesi, Google’ın PaLM’si, Facebook’un LLaMa’sı ve hatta Tesla FSD’nin hepsi dönüştürücüdür.

Uberti, Sohu’yu gerçeğe dönüştürmek için son derece hızlı ilerlediğini söyledi.

Uberti, “Tüm zamanların retikül boyutunda 4nm kalıbı için doğrulanmış silikona kadar en hızlı mimari döngüsüne doğru ilerliyoruz” dedi. “Doğrudan TSMC ile ortaklık yapıyoruz ve her iki üst düzey tedarikçiden HBM3E’yi çift kaynak olarak kullanıyoruz. Yapay zeka ve temel model şirketlerinden on milyonlarca rezervasyonumuz var ve bunun çok ötesine ölçeklenebilecek geniş bir tedarik zinciri kapasitesine sahibiz. Eğer iddiamız doğruysa ve bunu başarırsak Etched dünyanın en büyük şirketlerinden biri olacak.”

Şirket, eğer doğruysa Sohu’nun dünyayı değiştireceğini yineledi.

Günümüzde yapay zeka modelleri çoğu ürünü oluşturmak için çok pahalı ve yavaştır:

• Yapay zeka kodlama aracılarının bilgi işlem maliyeti saatte 60 ABD dolarıdır ve görevleri tamamlamak saatler sürer
• Google Gemini’nin bir videoyla ilgili soruyu yanıtlaması 60 saniyeden fazla sürüyor
• Çoğu video modeli halka açıklanamayacak kadar pahalıdır ve halka açık olanlar saniyede bir kare üretir (gerçek zamandan 24 kat daha yavaş)

GPU’lar başka bir iyileştirme yapılmadan her iki yılda bir 2,5 kat daha iyi olmaya devam ederse, videoyu gerçek zamanlı hale getirmek on yıl sürecektir. Sohu ile gerçek zamanlı video, ses, aracılar ve arama artık mümkün. Uberti, her yapay zeka ürününün birim ekonomisinin bir gecede tersine döneceğini söyledi.

Nvidia’yı yenmek mi?

Etched gibi küçük bir şirketin Nvidia’yı nasıl yenebileceğini sordum. Etched COO kurucu ortağı Robert Wachen, VentureBeat’e gönderdiği bir e-postada şunları söyledi:

“Geçmişte yapay zeka bilgi işlem pazarı parçalanmıştı: İnsanlar CNN’ler, DLRM’ler, LSTM’ler, RNN’ler ve etki alanlarında düzinelerce başka model gibi farklı türde modeller kullanıyordu. Wachen, her bir mimari için yapılan harcamanın on ila yüz milyon arasında olduğunu ve bu iş yükleri arasında genel amaçlı bir çipin (GPU’lar) kazanmasına yetecek kadar büyük bir pazar bulunduğunu söyledi.

Pazarın hızla tek tip mimariye doğru konsolidasyona uğradığını belirtti: transformatörler. İnsanların transformatör modellerine milyarlarca dolar harcadığı ve özel çiplerin maliyetinin 50 ila 100 milyon dolar arasında olduğu bir dünyada, özel çipler kaçınılmazdır.

“Çiplerimiz çoğu iş yükünde GPU’ları geçemez; onları destekleyemeyiz. Ancak transformatör çıkarımı (her büyük “üretken yapay zeka” ürününe güç veren) konusunda pazarı temizleyeceğiz. Wachen, bu kadar uzmanlaşma sayesinde çiplerimizin yeni nesil Blackwell GPU’lardan bile çok daha hızlı olduğunu belirtti.