Yeni kıyaslama, açık kaynaklı yapay zekanın tescilli liderlerle arasındaki farkı daralttığını ortaya koyuyor

Yapay zeka girişimi Galileo Pazartesi günü açık kaynak dil modellerinin hızla geliştiğini ortaya koyan kapsamlı bir kıyaslama yayınladı. performans açığını kapatmak tescilli meslektaşlarıyla birlikte. Bu değişim, gelişmiş yapay zeka yeteneklerini potansiyel olarak demokratikleştirerek ve endüstriler arası inovasyonu hızlandırarak yapay zeka ortamını yeniden şekillendirebilir.

İkinci yıllık Halüsinasyon Endeksi Galileo’dan önde gelen 22 büyük dil modelini yanlış bilgi üretme eğilimleri açısından değerlendirdi. Kapalı kaynak modeller genel olarak hâlâ önde olsa da, marj yalnızca sekiz ayda önemli ölçüde daraldı.

VentureBeat ile yaptığı röportajda Galileo’nun kurucu ortağı ve CEO’su Vikram Chatterji, “Açık kaynak modellerdeki büyük gelişmeleri görmek kesinlikle inanılmazdı” dedi. “O zamanlar [in October 2023] ilk beş veya altısının tümü kapalı kaynak API modelleriydi, çoğunlukla OpenAI modelleri. Şimdi ise açık kaynak aradaki farkı kapatıyor.”

Bu eğilim, yeni kurulan şirketlerin ve araştırmacıların giriş engellerini azaltabilir, yerleşik oyuncuları daha hızlı yenilik yapma konusunda baskı altına alabilir veya üstünlüklerini kaybetme riskiyle karşı karşıya kalabilir.

Yeni AI krallığı: Anthropic’in Claude 3.5 Sonnet’i OpenAI’yi tahtından indiriyor

Antropik Claude 3.5 Sone Tüm görevlerde en iyi performansı gösteren model olarak endeksin zirvesine yerleşti ve OpenAI’nin sunduğu teklifleri geride bıraktı geçen yılın sıralaması. Bu değişim, yeni katılanların yerleşik liderlere meydan okumasıyla, yapay zeka silahlanma yarışında gardın değiştiğini gösteriyor.

Chatterji, “Anthropic’in son model setinden son derece etkilendik” dedi. “Sonnet kısa, orta ve uzun bağlam pencerelerinde mükemmel bir performans sergileyerek görevlerde sırasıyla ortalama 0,97, 1 ve 1 puan almakla kalmadı, aynı zamanda modelin 200 bine kadar bağlam penceresini desteklemesi, daha da büyük bağlam pencerelerini destekleyebileceğini gösteriyor test ettiğimizden daha fazla veri kümesi.”

Endeks ayrıca ham performansın yanı sıra maliyet etkinliğini de dikkate almanın önemini vurguladı. Google’ın İkizler 1.5 Flaş En iyi modellerin fiyatının çok altında bir fiyata güçlü sonuçlar sunarak en verimli seçenek olarak ortaya çıktı.

Chatterji, VentureBeat’e şunları söyledi: “Flash için milyon başına anlık token maliyeti 0,35 dolardı, ancak Sonnet için 3 dolardı.” “Çıktıya baktığınızda, milyon başına dolar yanıt token maliyeti, Flash için yaklaşık 1 dolar, ancak Sonnet için 15 dolar. Yani artık Sonnet’i kullanan herkesin bankada hemen parası olması gerekiyor, bu da en azından 15 ila 20 kat daha fazla, halbuki Flash kelimenin tam anlamıyla o kadar da kötü değil.”

Bu maliyet eşitsizliği, yapay zekayı geniş ölçekte dağıtmak isteyen işletmeler için çok önemli olabilir ve performans listelerinde üst sıralarda yer almasalar bile potansiyel olarak daha verimli modellerin benimsenmesine yol açabilir.

Küresel rekabet kızışıyor: Alibaba’nın açık kaynak modeli ortalığı karıştırıyor

Alibaba’nın Qwen2-72B-talimat açık kaynak modeller arasında en iyi performansı gösterdi ve kısa ve orta uzunluktaki girdilerde yüksek puan aldı. Bu başarı, ABD dışındaki şirketlerin yapay zeka geliştirmede önemli ilerlemeler kaydettiği ve bu alandaki Amerikan hakimiyeti kavramına meydan okuduğuna dair daha geniş bir eğilimin sinyalini veriyor.

Chatterji bunu yapay zeka teknolojisinin daha geniş çapta demokratikleştirilmesinin bir parçası olarak görüyor. “Llama 3’ü kullanarak, Qwen’i kullanarak, dünyanın dört bir yanındaki farklı ekonomik katmanlardaki ekiplerin gerçekten inanılmaz ürünler üretmeye başlayabileceğini görüyorum” dedi.

Kendisi, bu modellerin uç cihazlar ve mobil cihazlar için optimize edildiğini görme ihtimalimizin yüksek olduğunu, bunun da “inanılmaz mobil uygulamaların, web uygulamalarının ve uçtaki uygulamaların bu açık kaynak modellerle oluşturulduğunu” sözlerine ekledi.

Dizin, modellerin kısa parçalardan uzun belgelere kadar farklı bağlam uzunluklarını nasıl ele aldığına yeni bir bakış açısı getirerek uzun raporları özetleme veya kapsamlı veri kümeleriyle ilgili soruları yanıtlama gibi görevlerde yapay zekanın artan kullanımını yansıtıyor. Bu yaklaşım, çeşitli senaryolarda yapay zeka dağıtımını düşünen işletmeler için gerekli olan model yeteneklerine ilişkin daha ayrıntılı bir görünüm sağlar.

Chatterji, VentureBeat’e şunları söyledi: “Bunu bağlam uzunluğuna (küçük, orta ve büyük) göre ayırmaya odaklandık.” “Bu ve buradaki diğer önemli nokta maliyet ve performanstı. Çünkü bu insanların aklına gelen bir şey.”

Endeks ayrıca yapay zeka modelleri söz konusu olduğunda daha büyüğün her zaman daha iyi olmadığını da ortaya çıkardı. Bazı durumlarda, daha küçük modeller daha büyük modellerden daha iyi performans gösterdi; bu da verimli tasarımın bazen katıksız ölçeği gölgede bırakabileceğini gösteriyor.

Chatterji, “Gemini 1.5 Flash modeli bizim için tam bir keşifti çünkü daha büyük modellerden daha iyi performans gösterdi” dedi. “Bu, eğer mükemmel bir model tasarım verimliliğine sahipseniz, bunun ölçeğe göre daha ağır basabileceğini gösteriyor.”

Bu bulgu, şirketlerin yalnızca model boyutunu büyütmek yerine mevcut mimarileri optimize etmeye odaklanmasıyla yapay zeka geliştirmede bir değişime yol açabilir.

Yapay zeka kristal küresi: Dil modellerinin geleceğini tahmin etmek

Galileo’nun bulguları kurumsal yapay zekanın benimsenmesini önemli ölçüde etkileyebilir. Açık kaynak modelleri geliştikçe ve daha uygun maliyetli hale geldikçe, şirketler pahalı özel hizmetlere güvenmeden güçlü yapay zeka yeteneklerini devreye alabilir. Bu, endüstriler arasında daha yaygın yapay zeka entegrasyonuna yol açarak potansiyel olarak üretkenliği ve yenilikçiliği artırabilir.

Yapay zeka sistemlerini izlemeye ve geliştirmeye yönelik araçlar sunan girişim, işletmelerin hızla gelişen dil modelleri ortamında yön bulmasına yardımcı olma konusunda kendisini kilit bir oyuncu olarak konumlandırıyor. Düzenli, pratik kıyaslamalar sunarak Galileo, teknik karar vericiler için temel bir kaynak olmayı amaçlamaktadır.

“Bunun, kurumsal müşterilerimizin ve yapay zeka ekibi kullanıcılarımızın, yalnızca karanlığı hissetmek yerine yapay zeka uygulamaları geliştirmenin en etkili yolu olan güçlü, sürekli gelişen bir kaynak olarak kullanabilecekleri bir şey olmasını istiyoruz. anlamaya çalışıyorum,” dedi Chatterji.

Yapay zeka silahlanma yarışı yoğunlaştıkça ve neredeyse her hafta yeni modeller piyasaya sürüldüğünde, Galileo’nun endeksi değişim halindeki bir sektörün anlık görüntüsünü sunuyor. Şirket, açık kaynak ve tescilli yapay zeka teknolojileri arasındaki değişen dengeye ilişkin sürekli içgörü sağlayarak karşılaştırma ölçütünü üç ayda bir güncellemeyi planlıyor.

Chatterji ileriye baktığında bu alanda daha fazla gelişme olacağını öngörüyor. “Bu çok güçlü mantık nedeniyle işletim sistemlerine benzeyen büyük modeller görmeye başlıyoruz” dedi. “Ve önümüzdeki belki bir ila iki yıl boyunca giderek daha genelleştirilebilir hale gelecek ve özellikle açık kaynak tarafında destekleyebilecekleri bağlam uzunluklarının çok daha fazla artmaya başlayacağını göreceğiz. Maliyet oldukça düşecek, sadece fizik kanunları devreye girecek.”

Ayrıca, yeni değerlendirme çerçeveleri gerektirecek ve muhtemelen yapay zeka endüstrisinde yeni bir inovasyon turunu teşvik edecek çok modlu modellerde ve aracı tabanlı sistemlerde bir artış olacağını öngörüyor.

İşletmeler yapay zekadaki hızlı ilerlemeyle boğuşurken, Galileo’nun Halüsinasyon Endeksi gibi araçlar, karar verme ve stratejiyi bilgilendirmede giderek daha önemli bir rol oynayacaktır. Yapay zeka yeteneklerinin demokratikleşmesi, maliyet verimliliğinin artan önemiyle birleştiğinde, gelişmiş yapay zekanın yalnızca daha güçlü değil, aynı zamanda daha geniş bir kuruluş yelpazesi için daha erişilebilir olduğu bir gelecek öneriyor.

Bu gelişen ortam, işletmeler için hem fırsatlar hem de zorluklar sunuyor. Yüksek performanslı, uygun maliyetli yapay zeka modellerinin mevcudiyeti inovasyonu ve verimliliği teşvik edebilirken, aynı zamanda hangi teknolojilerin benimseneceği ve bunların etkili bir şekilde nasıl entegre edileceğinin de dikkatli bir şekilde değerlendirilmesini gerektirir.

Açık kaynak ve tescilli yapay zeka arasındaki çizgi bulanıklaşmaya devam ettikçe şirketlerin bilgili ve çevik olmaları, teknoloji geliştikçe stratejilerini uyarlamaya hazır olmaları gerekecek. Galileo’nun kıyaslaması yalnızca yapay zekanın mevcut durumunun anlık görüntüsü olarak değil, aynı zamanda karmaşık ve hızla değişen yapay zeka dünyasında gezinmek için bir yol haritası olarak da hizmet ediyor.