Yapay zeka eğitim maliyetleri katlanarak artıyor – IBM, kuantum hesaplamanın bir çözüm olabileceğini söylüyor

Bu ayın başlarında Wall Street Journal, nükleer santrallerin üçte birinin yeni veri merkezlerine güç sağlamak için teknoloji şirketleriyle görüşmelerde bulunduğunu bildirdi. Bu arada Goldman Sachs, yapay zekanın şu andan itibaren 2030’a kadar veri merkezlerinin güç kullanımında %160’lık bir artışa yol açacağını öngördü. Bu, karbondioksit emisyonlarını mevcut seviyelerin iki katından fazlasına çıkaracak. Her ChatGPT sorgusunun, Google aramasından en az 10 kat daha fazla enerji harcadığı tahmin edilmektedir. Soru şu: Yapay zeka modellerini eğitmenin katlanarak artan maliyeti sonuçta yapay zekanın potansiyelini sınırlayacak mı?

VB Dönüşümü 2024 CATALOG’un kurucu ortağı ve CEO’su Hyunjun Park liderliğindeki bir panelde konuyu ele aldı. Sorunun kapsamı ve olası çözümler hakkında konuşmak üzere Park, IBM’de kuantum algoritmaları ve ortaklıklar direktörü Dr. Jamie Garcia’yı sahneye davet etti; AWS’de stratejik hesaplar direktörü Paul Roberts; ve Hewlett Packard Laboratuvarları baş mimarı ve aynı zamanda HPE Üyesi ve Başkan Yardımcısı Kirk Bresniker.

Sürdürülebilir olmayan kaynaklar ve adaletsiz teknoloji

Bresniker, “2030’daki iniş, bazı rota düzeltmeleri yapmamıza yetecek kadar uzak, ancak aynı zamanda şu anda yaptığımız şeyin sonuçlarını dikkate almamız için de yeterince gerçek” dedi.

Bir yerde 2029 ile 2031 arasında tek bir modeli eğitmek için gereken kaynakların maliyeti bir defaya mahsus olmak üzere ABD GSYH’sini aşacakdiye ekledi ve 2030 yılına kadar dünya çapındaki BT harcamalarını aşacak, dolayısıyla zorlu bir tavana doğru gidiyoruz ve şimdi kararların alınması gereken zaman bu ve bunun nedeni sadece maliyetin imkansız hale gelmesi değil.

“Çünkü sürdürülebilirlik sorununun özünde eşitlik de vardır” diye açıkladı. “Bir şeyin sürdürülemez olduğu kanıtlanabilirse, doğası gereği adaletsizdir. Bu inanılmaz teknolojiye yaygın ve umarım evrensel erişime bakarken, neler yapabileceğimize de bakmamız gerekir. Neyi değiştirmemiz gerekiyor? Bu teknolojide onu evrensel olarak erişilebilir hale getirebilmemiz için dramatik bir şekilde değiştirilmesi gereken bir şey var mı?

Kurumsal sorumluluğun rolü

Bazı şirketler hızla artan bu çevre felaketinin sorumluluğunu üstleniyor ve yaklaşmakta olan mali felaketi hafifletmeye çalışıyor. Karbon ayak izi tarafında AWS, daha sorumlu kullanım ve sürdürülebilirliğe yönelik bir rota çiziyor; bugün bu, Nvidia’nın en yeni sıvı soğutma çözümlerini ve daha fazlasını uygulamaya benziyor.

Roberts, “Karbon kullanımımızı azaltmak için hem çelik hem de betonda iyileştirmeler yapmayı düşünüyoruz” dedi. “Buna ek olarak alternatif yakıtlara da bakıyoruz. Jeneratörlerimizde sadece geleneksel dizel yakıtlar yerine hidrobitkisel yağlara ve diğer alternatif kaynaklara bakıyoruz.”

Ayrıca alternatif çipleri de zorluyorlar. Örneğin, alternatif seçeneklere göre kat kat daha verimli olabilen kendi silikonları Trainium’u piyasaya sürdüler. Çıkarım yapmanın maliyetini azaltmak için, mevcut seçeneklere göre watt başına %50’den fazla performans artışı sunan Inferentia’yı duyurdular.

Şirketin eğitim ve ön eğitime yardımcı olan ikinci nesil ultra küme ağı, yaklaşık 20.000’e kadar GPU’yu destekler ve 10 mikrosaniyenin altındaki gecikme süresiyle aynı omurga üzerinde saniyede yaklaşık 10 petabit ağ çıkışı sağlar, bu da genel gecikmede azalma sağlar %25 oranında. Sonuç: daha fazla modeli daha düşük maliyetle çok daha hızlı eğitmek.

Kuantum hesaplama geleceği değiştirebilir mi?

Garcia’nın çalışması, kuantum ve yapay zekanın birbirleriyle etkileşim kurma biçimlerine odaklanıyor ve çıkarımlar büyük umut vaat ediyor. Kuantum hesaplama potansiyel kaynak tasarrufu ve hız avantajları sunar. Garcia, kuantum makine öğreniminin yapay zeka için üç şekilde kullanılabileceğini söyledi: klasik veriler üzerinde kuantum modelleri, kuantum veriler üzerinde kuantum modeller ve kuantum veriler üzerinde klasik modeller.

Garcia, “Bu farklı kategorilerin her birinde, bu tür alanlarla başa çıkmak için kuantum bilgisayarları kullanmanın bir avantaj olduğunu gösteren farklı teorik kanıtlar mevcut” dedi. “Örneğin, sınırlı eğitim verileriniz veya çok seyrek verileriniz veya çok birbirine bağlı verileriniz varsa. Bu alanda çok umut verici olduğunu düşündüğümüz alanlardan biri de sağlık ve yaşam bilimleri uygulamaları üzerine düşünmek. Doğada kuantum mekaniksel bir şeyin olduğu ve üstesinden gelmeniz gereken herhangi bir şey.

IBM, kuantum makine öğreniminin muazzam potansiyelini aktif olarak araştırıyor. Halihazırda yaşam bilimleri, endüstriyel uygulamalar, malzeme bilimi ve daha pek çok alanda çok sayıda uygulamaya sahiptir. IBM araştırmacıları ayrıca, kuantum hesaplamaya aşina olmayan kullanıcıların, uygulamaları için bir kuantum bilgisayardan yararlanmasına yardımcı olan Watson Code Assist’i de geliştiriyor.

“Buna yardımcı olmak ve insanların devreleri optimize edebilmelerine, sorunlarını kuantum bilgisayarın çözebileceği şekilde anlamlı bir şekilde tanımlayabilmelerine yardımcı olmak için yapay zekadan yararlanıyoruz” diye açıkladı.

Çözümün bitlerin, nöronların ve kübitlerin bir kombinasyonu olacağını ekledi.

“CPU’lar, artı GPU’lar ve artı SWC birlikte çalışmak ve iş akışının farklı parçaları arasında ayrım yapmak” dedi. “Bahsettiğimiz devreleri çalıştırabileceğimiz bir noktaya ulaşmak için kuantum teknolojisini zorlamamız gerekiyor; bu tür üstel hızlanma, polinom hızlanma sağlayacağımızı düşünüyoruz. Ancak algoritmaların potansiyeli bizim için gerçekten umut verici.”

Ancak kuantumun günün kahramanı haline gelmesinden önce, kuantum için altyapı gereksinimleri bir sorun teşkil ediyor. Buna güç tüketiminin daha da azaltılması ve bileşen mühendisliğinin geliştirilmesi de dahildir.

“Kuantumun altyapı gereksinimlerini hayata geçirebilmek için yapılması gereken çok sayıda fizik araştırması var” diye açıkladı. “Bana göre, sorunları kaynak açısından en verimli şekilde çözmek için üçünün birlikte uyum içinde çalışması vizyonunu gerçekleştirmenin asıl zorluğu bu.”

Seçim ve sert tavan

“Her şeyden daha önemli olan, karar vericilere, tedarik zinciri boyunca, kullandığımız tüm bu teknolojilerin sürdürülebilirliği, enerjisi, mahremiyeti ve güvenlik özellikleri konusunda derin bir anlayış sağlamak için radikal şeffaflıktır. böylece gerçek maliyeti anlayabiliriz,” dedi Bresniker. “Bu bize bu yatırımların gerçek getirisini hesaplama yeteneği veriyor. Şu anda, benimseme konusunda kuruluşla konuşan derin konu uzmanlarımız var, ancak bu teknolojileri gerçekten başarılı, sürdürülebilir ve eşitlikçi bir şekilde entegre etmek için ihtiyaçların neler olduğunu tam olarak listeleyemiyorlar.”

Roberts, bunun bir kısmının seçime bağlı olduğunu söyledi. At artık ahırdan çıktı ve giderek daha fazla kuruluş yüksek lisans ve yapay zekadan yararlanacak. Kaynakları ayrım gözetmeden tüketmek yerine, uygulamaya en uygun performans özelliklerini seçme fırsatı vardır.

“Sürdürülebilirlik ve enerji perspektifinden bakıldığında, söz konusu uygulama ve modelle gerçekleştirmeye çalıştığım kullanım durumumun ne olduğunu ve ardından bu çıkarımı gerçekleştirmek için kullanacağım silikonun ne olduğunu düşünmek istersiniz. ?” dedi.

Ayrıca ana bilgisayarı da seçebilir ve temel kullanım durumunu soyutlayacak belirli uygulamaları ve belirli araçları seçebilirsiniz.

“Bunun önemli olmasının nedeni, size seçenek sunması, size çok fazla kontrol sağlaması ve uygulamanız için en uygun maliyetli ve en uygun dağıtımın ne olduğunu seçebilmenizdir” dedi.

“Eğer daha fazla veri, daha fazla enerji, daha fazla su ve daha fazla insanı dahil ederseniz, bu daha büyük bir model olacaktır, ancak aslında işletme için daha mı iyi? Kurumsal fitness ile ilgili asıl soru bu,” diye ekledi Bresniker. “Devam edersek sert bir tavana çarpacağız. Bu konuşmaya başladığımızda, bu anlayışa sahip olarak ve geri çekilip şunu söylemeye başladığımızda, biraz daha şeffaflık istiyorum. Bu verilerin nereden geldiğini bilmem gerekiyor. Bu modelde ne kadar enerji var? Başka bir alternatif var mı? Belki birkaç küçük model tek bir monolitik monokültürden daha iyidir. Daha tavana ulaşmadan monokültür sorununu çözeceğiz.”