Sakana, AI’nın model eğitimini önemli ölçüde hızlandırabileceğini iddia ediyor

Bu hafta, VC firmalarından yüz milyonlarca dolar toplayan Nvidia destekli bir girişim olan Sakana Ai, dikkate değer bir iddiada bulundu. Şirket, bazı AI modellerinin eğitimini 100x’e kadar etkili bir şekilde hızlandırabilecek bir AI sistemi olan AI Cuda Mühendisi oluşturduğunu söyledi.

Tek sorun, sistem işe yaramadı.

X’teki kullanıcılar, Sakana’nın sisteminin aslında ortalamadan daha kötü model eğitim performansıyla sonuçlandığını hızla keşfetti. Bir kullanıcıya göre, Sakana’nın yapay zekası 3 kat bir yavaşlama ile sonuçlandı – bir hızlanma değil.

Ne yanlış gitti? Openai Teknik Personel üyesi Lucas Beyer’in bir görevine göre, koddaki bir hata.

“Orig kodu yanlış [a] İnce bir yol, ”diye yazdı Beyer,“ çılgınca farklı sonuçlarla iki kez kıyaslama yaptıkları gerçeği onları durdurmalı ve düşünmeli. ”

Cuma günü yayınlanan bir postmortem’de Sakana, sistemin “hile” (Sakana’nın tarif ettiği gibi) için bir yol bulduğunu itiraf etti ve sistemin “hack’i ödüllendirme” eğilimini suçladı – yani, istenen hedefe ulaşmadan yüksek metriklere ulaşmak için kusurları tanımlayın UP Model Eğitimi). Satranç oyunları oynamak için eğitilmiş AI’da benzer fenomenler gözlenmiştir.

Sakana’ya göre, sistem değerlendirme kodunda şirketin kullandığı, diğer kontrollerin yanı sıra doğruluk için doğrulamaları atlamasına izin verdiğini buldu. Sakana, sorunu ele aldığını ve iddialarını güncellenmiş materyallerde gözden geçirmeyi planladığını söylüyor.

“O zamandan beri değerlendirme ve çalışma zamanı profili oluşturma kablo demetini, bunların çoğunu ortadan kaldırmak için daha sağlam hale getirdik. [sic] boşluklar, ”diye yazdı şirket X yazısında. “Etkileri yansıtmak ve tartışmak için makalemizi ve sonuçlarımızı gözden geçirme sürecindeyiz. […] Okuyucularımıza gözetimimiz için derinden özür dileriz. Yakında bu çalışmanın bir revizyonunu sağlayacağız ve öğrenimlerimizi tartışacağız. ”

Hataya sahip olduğu için Sakana’ya sahne. Ancak bölüm, bir iddia doğru olamayacak kadar iyi geliyorsa, özellikle AI’da, muhtemelen öyle olduğunu hatırlatıyor.