Sakana AI, üretken yapay zeka için evrimsel algoritmayı açıkladı

Çok abartılı bir şekilde Tokyo, Japonya’da başlatılan Sakana AI tarafından geliştirilen yeni bir teknik, otomatik olarak üretken modeller yaratıyor. Evrimsel Model Birleştirme adı verilen teknik, doğal seçilim sürecinden ilham alıyor ve daha yetenekli olanları yaratmak için mevcut modellerin parçalarını birleştiriyor.

Sakana AI ilk kez duyurdu Ağustos 2023’teki varlığıeski Google çalışanı David Ha ve “İhtiyacınız Olan Tek Şey Dikkat” ortak yazar Llion Jones ( mevcut üretken yapay zeka çağını başlatan makale).

Sakana’nın yeni Evrimsel Model Birleştirme tekniği, geliştiricilerin ve kuruluşların, kendi modellerini eğitmek ve ince ayar yapmak için büyük miktarda harcama yapmaya gerek kalmadan, uygun maliyetli yöntemlerle yeni modeller oluşturmasına ve keşfetmesine olanak sağlayabilir.

Sakana geniş bir dil modeli yayınladı (Yüksek Lisans) ve Evrimsel Model Birleşmesi yoluyla oluşturulan bir vizyon dili modeli (VLM).

Model birleştirme

Eğitim üretken modeller çoğu kuruluşun karşılayamayacağı pahalı ve karmaşık bir süreçtir. Ancak aşağıdaki gibi açık modellerin piyasaya sürülmesiyle Lama 2 Ve Mistralgeliştiriciler bunları düşük maliyetlerle iyileştirmenin yenilikçi yollarını bulmuşlardır.

Bu yöntemlerden biri, iki veya daha fazla önceden eğitilmiş modelin farklı bileşenlerinin yeni bir model oluşturmak üzere birleştirildiği “model birleştirme”dir. Doğru şekilde yapılırsa, birleştirilmiş model potansiyel olarak kaynak modellerin güçlü yönlerini ve yeteneklerini devralabilir.

İlginç bir şekilde, birleştirilmiş modellerin ek eğitim gerektirmemesi, onu oldukça uygun maliyetli hale getiriyor. Aslında Open LLM skor tablolarında en iyi performansı gösteren modellerin çoğu, popüler temel modellerin birleştirilmiş versiyonlarıdır.

Sakana AI araştırmacıları şöyle yazıyor: “Tanık olduğumuz şey, özel veri kümelerinde mevcut modellere ince ayar yaparak veya mevcut modelleri bir araya getirerek yeni temel modeller geliştirmek için kendi yollarını kullanan araştırmacılar, bilgisayar korsanları, meraklılar ve sanatçılardan oluşan geniş bir topluluktur.” şirketin Blog.

Hugging Face’te mevcut 500.000’den fazla modelle model birleştirme, araştırmacılara, geliştiricilere ve kuruluşlara çok düşük bir maliyetle yeni modeller keşfetmeleri ve yaratmaları için geniş olanaklar sunar. Ancak model birleştirme büyük ölçüde sezgiye ve alan bilgisine dayanır.

Evrimsel Model Birleşmesi

Sakana AI’nın yeni tekniği, verimli model birleştirmelerin keşfedilmesine daha sistematik bir yaklaşım sağlamayı amaçlıyor.

Sakana AI araştırmacıları, “Doğal seçilimden ilham alan evrimsel algoritmaların daha etkili birleştirme çözümlerinin kilidini açabileceğine inanıyoruz” diye yazıyor.

Evrimsel algoritmalar, biyolojik evrim süreçlerinden ilham alan popülasyon temelli optimizasyon teknikleridir. Mevcut popülasyonun unsurlarını birleştirerek ve bir uygunluk fonksiyonu aracılığıyla en iyi çözümleri seçerek yinelemeli olarak aday çözümler yaratırlar. Evrimsel algoritmalar, geleneksel yöntemlerin ve insan sezgisinin gözden kaçırabileceği yeni ve sezgisel olmayan kombinasyonları keşfederek geniş bir olasılık alanını keşfedebilir.

Sakana AI kurucusu David Ha, VentureBeat’e şunları söyledi: “Çok çeşitli mevcut, çeşitli yeteneklere sahip farklı modellerden, yeni ortaya çıkan yeteneklere sahip yeni modeller geliştirme yeteneğinin önemli sonuçları var.” “Temel modellerin eğitimi için artan maliyetler ve kaynak gereksinimi ile birlikte, büyük kurumlar veya hükümetler, zengin açık kaynak ekosistemindeki zengin temel model çeşitliliğinden yararlanarak, kavram kanıtı prototip modellerini hızlı bir şekilde geliştirmek için daha ucuz evrimsel yaklaşımı değerlendirebilir. Önemli miktarda sermaye taahhüt etmeden veya sıfırdan tamamen özel modeller geliştirmek için ülkenin kaynaklarından yararlanmadan önce, eğer buna ihtiyaç duyulursa.”

Sakana AI’nın Evrimsel Model Birleştirmesi, farklı modelleri birleştirmenin en iyi yollarını keşfetmek için evrimsel teknikleri kullanan genel bir yöntemdir. Evrimsel Model Birleştirme, insan sezgisine güvenmek yerine, yeni mimariler oluşturmak ve değerlendirmek için mevcut modellerin katmanlarını ve ağırlıklarını otomatik olarak birleştirir.

Sakana’nın bloguna göre, “Mevcut açık modellerin geniş kolektif zekasıyla çalışarak, yöntemimiz kullanıcı tarafından belirlenen istenen yeteneklere sahip yeni temel modellerini otomatik olarak oluşturabiliyor.”

Evrimsel birleşme iş başında

Elle oluşturulan birleştirilmiş modellerdeki etkileyici ilerlemeler göz önüne alındığında, araştırmacılar, evrimsel bir algoritmanın geniş açık kaynak temel modelleri havuzunu birleştirmenin yeni yollarını bulmada ne kadar ileri gidebileceğini görmek istediler.

Evrimsel Model Birleştirme’nin, İngilizce dışı dil ve matematik veya İngilizce dışı dil ve vizyon gibi çok farklı alanlardaki farklı modelleri birleştirmenin önemsiz olmayan yollarını keşfettiğini buldular.

Araştırmacılar, “Yaklaşımımızı test etmek için, başlangıçta yöntemimizi, Matematiksel akıl yürütme yeteneğine sahip bir Japon Büyük Dil Modeli (LLM) ve bir Japon Vizyon-Dil Modeli (VLM) bizim için otomatik olarak geliştirecek şekilde test ettik” diye yazıyor.

Ortaya çıkan modeller, çeşitli LLM ve vizyon kriterlerinde, bunlar için açıkça optimize edilmeden, en son teknolojiye sahip performansa ulaştı. Yüksek Lisans için, Japon Yüksek Lisans Shisa-Gamma’sını ve matematiğe özgü Yüksek Lisans’ları WizardMath ve Abel’ı birleştirmek için evrimsel algoritmayı kullandılar.

7 milyar parametreli Japon matematik LLM’si EvoLLM-JP, çeşitli Japon LLM kriterlerinde yüksek performans elde etti ve hatta bazı son teknoloji ürünü 70 milyar parametreli Japon LLM’lerinden daha iyi performans gösterdi.

Araştırmacılar, “Deneysel Japon Matematik Yüksek Lisans Programımızın genel amaçlı bir Japon Yüksek Lisans Programı olacak kadar iyi olduğuna inanıyoruz” diye yazıyor.

Japon VLM’si için LLaVa-1.6-Mistral-7B’yi kullandılar. popüler açık kaynaklı VLMve Shisa-Gamma 7B. Ortaya çıkan model EvoVLM-JP, yalnızca LLaVa-1.6-Mistral-7B’den değil aynı zamanda mevcut bir Japon VLM’si olan JSVLM’den daha yüksek puanlar elde etmeyi başardı. Her iki modeli de Hugging Face ve GitHub’da yayınladılar.

Ekip aynı zamanda evrimsel model birleştirme yöntemlerinin görüntü oluşturmaya uygulanmasında da ilerleme kaydediyor difüzyon modelleri. Japonca istemlerde yüksek kaliteli sonuçlar veren ve görüntüleri çok hızlı oluşturabilen Stable Diffusion XL’in yeni bir versiyonunu yaratıyorlar.

“EvoSDXL-JP sonuçlarını piyasaya sürülmeden birkaç gün önce aldık, dolayısıyla bu model için uygun bir sürüm/yazma yapmadık. Umarım bunu önümüzdeki 1-2 ay içinde yayınlayabiliriz” dedi Ha.

Sakana AI’nın vizyonu

Stability AI’nin eski araştırma başkanı ve eski bir Google Beyin araştırmacısı olan Ha, Sakana A.I. 2017 yılında çığır açan araştırma makalesinin ortak yazarlarından biri olan Llion Jones ile birlikte Trafo mimarisi üretken modellerde kullanılır.

Sakana AI, yeni temel modeller oluşturmak için evrim ve kolektif zeka gibi doğadan ilham alan fikirleri uygulamaya odaklanıyor.

“Yapay zekanın geleceği, eğitmek, çalıştırmak ve sürdürmek için muazzam enerji gerektiren tek, devasa, her şeyi bilen bir yapay zeka sisteminden ziyade, her biri kendi niş ve uzmanlığına sahip, etkileşimli olarak çalışan küçük yapay zeka sistemlerinden oluşan geniş bir koleksiyondan oluşacaktır. araştırmacılar, belirli bir alanı doldurmak için geliştirilen daha yeni yapay zeka sistemleriyle birbirleriyle işbirliği yapıyorlar” diye yazdı.