Açık kaynaklı llms Avrupa’nın dijital egemenlik yol haritasını vurdu

Büyük Dil Modelleri (LLMS), tüm Avrupa Birliği dillerini kapsayan bir dizi “gerçek” açık kaynaklı LLM geliştirmek için yeni bir programdan haberdar olduğu için, geçen hafta Avrupa’nın dijital egemenlik gündemine indi.

Bu, mevcut 24 resmi AB dilinin yanı sıra, şu anda Arnavutluk gibi AB pazarına giriş için müzakere eden ülkeler için dilleri de içermektedir. Geleceğe dayanıklı oyunun adıdır.

Openeurollm, Prag’daki Charles Üniversitesi’nden hesaplamalı bir dilbilimci olan Jan Hajič ve AMD’nin geçen yıl 665 milyon dolar karşılığında satın aldığı Fin Ai Lab Silo AI’nın CEO’su ve kurucu ortağı Peter Sarlin tarafından ortaklaşa liderliğindeki 20 kuruluş arasında bir işbirliğidir. .

Proje, Avrupa’nın dijital egemenliği bir öncelik olarak ittiğini gören daha geniş bir anlatıya uyuyor ve bu da görev açısından kritik altyapı ve araçları eve yaklaştırmasını sağlıyor. Bulut devlerinin çoğu, AB verilerinin yerel kalmasını sağlamak için yerel altyapıya yatırım yaparken, AI Darling Openai kısa süre önce müşterilerin Avrupa’da verileri işlemesine ve depolamasına izin veren yeni bir teklif sundu.

Başka yerlerde, AB son zamanlarda Elon Musk’un Starlink’e rakip olmak için egemen bir uydu takımyıldızı oluşturmak için 11 milyar dolarlık bir anlaşma imzaladı.

Yani Openeurollm kesinlikle marka.

Bununla birlikte, sadece modellerin kendilerini inşa etmek için belirtilen bütçe 37,4 milyon € ‘dur ve AB’nin dijital Avrupa programından kabaca 20 milyon € geliyor – kurumsal AI dünyasının devlerinin yatırım yaptığına kıyasla okyanusta bir düşüş. Teğetsel ve ilgili iş için tahsis edilen finansmanı hesaba kattığınızda gerçek bütçe daha fazladır ve tartışmasız en büyük masraf hesaplanmaktır. Openeurollm projesinin ortakları arasında İspanya, İtalya, Finlandiya ve Hollanda’daki Eurohpc Supercomputer Merkezleri yer alıyor ve daha geniş Eurohpc projesinin yaklaşık 7 milyar € bütçesi var.

Ancak akademi, araştırma ve şirketleri kapsayan farklı katılımcı partiler, birçok kişinin hedeflerinin ulaşılabilir olup olmadığını sorgulamasına yol açtı. LLM Company Pleias’ın kurucu ortağı Anastasia Stasenko, “20’den fazla kuruluşun genişleyen bir konsorsiyumunun”, evde yetiştirilen özel bir AI firmasının aynı ölçülü odağına sahip olup olamayacağını sorguladı.

Stasenko, “Avrupa’nın AI’daki son başarıları, Mistral AI ve Lighton gibi küçük odaklanmış ekipler aracılığıyla parlıyor – inşa ettiklerine gerçekten sahip olan şirketler” dedi. “İster finansman, piyasa konumlandırma veya itibar, seçimlerinden derhal sorumluluk taşıyorlar.”

Sıfıra kadar

Openeurollm projesi ya sıfırdan başlıyor ya da ona nasıl baktığınıza bağlı olarak bir başlangıç ​​yapıyor.

Hajič, 2022’den bu yana, yüksek performanslı bilgi işlem (HPC) kullanarak ücretsiz ve yeniden kullanılabilir veri kümeleri, modeller ve iş akışları geliştirmek için yola çıkan Yüksek Performanslı Dil Teknolojileri (HPLT) projesini de koordine ediyor. Bu projenin 2025’in sonlarında sona ermesi planlanıyor, ancak Hajič’e göre, HPLT’deki (İngiltere ortaklarının yanı sıra) çoğunun da buraya katıldığı göz önüne alındığında, Openeurollm’e bir tür “selef” olarak görülebilir.

“Bu [OpenEuroLLM] gerçekten sadece daha geniş bir katılım, ancak daha çok üretken LLM’lere odaklandı ”dedi. “Dolayısıyla, veri, uzmanlık, araçlar ve hesaplama deneyimi açısından sıfırdan başlamıyor. Ne yaptıklarını bilen insanları bir araya getirdik – hızla hızlanabilmeliyiz. ”

Hajič, ilk versiyonların 2026 yılının ortalarında yayınlanmasını beklediğini, son yinelemelerin 2028’de sonucuna varmasını beklediğini söyledi. Ancak bu hedefler çok fazla olmadığını düşündüğünüzde hala yüce görünebilir. Henüz çıplak kemiklerin ötesinde bir GitHub profilinin ötesine geçmek.

“Bu bakımdan, sıfırdan başlıyoruz – proje Cumartesi günü başladı [February 1]”Dedi Hajič. “Ama projeyi bir yıldır hazırlıyoruz [the tender process opened in February 2024]. “

Akademi ve araştırmalardan, Çekya, Hollanda, Almanya, İsveç, Finlandiya ve Norveç’i kapsayan organizasyonlar Eurohpc merkezlerine ek olarak Openeurollm kohortunun bir parçasıdır. Kurumsal dünyadan, Finlandiya’nın AMD’ye ait AI Lab Silo AI, Aleph Alpha (Almanya), Ellamind (Almanya), Prompsit Dil Mühendisliği (İspanya) ve Lighton (Fransa) gibi.

Listeden dikkate değer bir ihmal, Openai gibi görevlilere açık kaynaklı bir alternatif olarak konumlandırılan Fransız AI Unicorn Mistral’dir. Mistral’dan hiç kimse yorum yapmak için TechCrunch’a cevap vermese de, Hajič başlangıçla görüşmeler yapmaya çalıştığını, ancak boşuna olmadığını doğruladı.

Hajič, “Onlara yaklaşmaya çalıştım, ancak katılımları hakkında odaklanmış bir tartışma ile sonuçlanmadı” dedi.

Proje, AB kuruluşlarıyla sınırlı olmasına rağmen, finansman sağlayan AB programının bir parçası olarak yeni katılımcılar toplayabilir. Bu, İngiltere ve İsviçre’den gelen kuruluşların katılamayacağı anlamına geliyor. Bu, İngiltere’nin uzun bir Brexit çıkmazından sonra 2023’te yeniden katıldığı ve HPLT’ye fon sağlayan Horizon Ar -Ge programının aksine uçuyor.

Kurmak

Projenin en üst düzey hedefi, sloganına göre, “Avrupa’da şeffaf AI için bir dizi temel modeli” yaratmaktır. Ayrıca, bu modeller tüm AB dillerinin “dilsel ve kültürel çeşitliliği” – mevcut ve gelecek – korumalıdır.

Bunun çıktılar açısından anlamına gelen şey hala ütülenmektir, ancak muhtemelen doğruluğun çok önemli olduğu genel amaçlı görevler için tasarlanmış çekirdek çok dilli bir LLM anlamına gelecektir. Ve sonra, belki de verimlilik ve hızın daha önemli olduğu Edge uygulamaları için daha küçük “nicel” sürümler.

Hajič, “Bu hala ayrıntılı bir plan yapmamız gereken bir şey” dedi. “Bunu mümkün olduğunca küçük ama yüksek kalitede olmasını istiyoruz. Yarı pişmiş bir şey serbest bırakmak istemiyoruz, çünkü Avrupa bakış açısından bu yüksek bahisler, Avrupa Komisyonu’ndan çok fazla para-kamu parası geliyor. ”

Amaç, modeli tüm dillerde mümkün olduğunca yetkin hale getirmek olsa da, yönetim kurulu genelinde eşitliğe ulaşmak da zor olabilir.

Hajič, “Bu, amaç bu, ancak kıt dijital kaynaklara sahip dillerde ne kadar başarılı olabileceğimiz soru” dedi. “Ama bu yüzden bu diller için gerçek ölçütlere sahip olmak ve belki de dilleri ve arkasındaki kültürü temsil etmeyen kriterlere doğru sallanmak istiyoruz.”

Veriler açısından, HPLT projesinden yapılan çalışmaların birçoğunun verimli olacağı yerdir ve veri kümesinin 2.0 sürümü dört ay önce yayınlanmıştır. Bu veri kümesi 4,5 petabayt web taraması ve 20 milyardan fazla belge eğitildi ve Hajič, karışıma ortak taramadan (web çizgili verilerin açık bir deposu) ek veri ekleyeceklerini söyledi.

Açık kaynak tanım

Geleneksel yazılımlarda, açık kaynak ve tescilli arasındaki çok yıllık mücadele “açık kaynak” ın “gerçek” anlamı etrafında döner. Bu, açık kaynak girişimine göre, meşru açık kaynak lisansları olan ve olmayanların endüstri yöneticileri uyarınca resmi “tanım” a ertelenerek çözülebilir.

Daha yakın zamanlarda, OSI bir “açık kaynak AI” tanımını oluşturdu, ancak herkes sonuçtan memnun olmasa da. Açık kaynaklı AI taraftarları, sadece modellerin serbestçe kullanılabilir olması değil, aynı zamanda veri kümeleri, önleyici modeller, ağırlıklar – tam Shebang’ın da olması gerektiğini savunuyor. OSI’nin tanımı eğitim verilerini zorunlu hale getirmez, çünkü AI modellerinin genellikle tescilli veriler veya yeniden dağıtım kısıtlamaları olan veriler üzerinde eğitildiğini söylüyor.

Openeurollm aynı quandaries ile karşı karşıya ve “gerçekten açık” olma niyetine rağmen, “kalite” yükümlülüklerini yerine getirmek için muhtemelen bazı uzlaşmalar yapmak zorunda kalacak.

“Amaç her şeyin açık olması. Şimdi, elbette, bazı sınırlamalar var, ”dedi Hajič. “Mümkün olan en yüksek kalitede modellere sahip olmak istiyoruz ve Avrupa Telif Hakkı Direktifine dayanarak ellerimizi alabileceğimiz her şeyi kullanabiliriz. Bazıları yeniden dağıtılamaz, ancak bazıları gelecekteki denetim için saklanabilir. ”

Bunun anlamı, Openeurollm projesinin bazı eğitim verilerini SAPS altında tutması gerekebilir, ancak AB AI Yasası şartlarında yüksek riskli AI sistemleri için gerektiği gibi, talep üzerine denetçilere sunulmalıdır.

“Verilerin çoğunu umuyoruz [will be open]özellikle ortak taramadan gelen veriler, ”dedi Hajič. “Her şeyin tamamen açık olmasını istiyoruz, ama göreceğiz. Her durumda, AI düzenlemelerine uymak zorunda kalacağız. ”

Biri için iki

Openeurollm’in resmi açılışından sonra ortaya çıkan bir başka eleştiri, sadece birkaç ay önce Avrupa’da piyasaya sürülen çok benzer bir proje olmasıydı. Eylül ayında ilk modelini başlatan ve Aralık ayında takip eden Eurollm, AB tarafından dokuz ortaktan oluşan bir konsorsiyumun yanında birlikte finanse edildi. Bunlar arasında Edinburgh Üniversitesi gibi akademik kurumlar ve geçen yıl AB süper bilgisayarlarında milyonlarca GPU eğitim saati kazanan Unbabel gibi şirketler yer alıyor.

Eurollm, yakın isimlerine benzer hedefleri paylaşıyor: “24 resmi Avrupa dilini ve stratejik olarak önemli birkaç dili destekleyen açık kaynaklı bir Avrupa büyük dil modeli oluşturmak.”

Unbabel’in araştırma başkanı Andre Martins, bu benzerlikleri vurgulamak için sosyal medyaya gitti ve Openeurollm’in zaten var olan bir isme sahip olduğunu belirtti. Martins, “Umarım farklı topluluklar açıkça işbirliği yapar, uzmanlıklarını paylaşır ve yeni bir proje her finanse edildiğinde tekerleği yeniden keşfetmeye karar vermeyin” diye yazdı Martins.

Hajič durumu “talihsiz” olarak nitelendirerek işbirliği yapabileceğini umduğunu da ekledi, ancak AB’deki finansmanının kaynağı nedeniyle, Openeurollm’in İngiltere dışı kuruluşlarla işbirliği açısından kısıtlandığını vurguladı. Üniversiteler.

Finansman boşluğu

Çin’in Deepseek’in gelişi ve vaat ettiği maliyet-performans oranı, AI girişimlerinin başlangıçta düşünülenden çok daha azıyla daha fazlasını yapabileceğine dair bir cesaret verdi. Ancak, son birkaç hafta içinde, birçoğu Deepseek’in inşa edilmesinde ilgili gerçek maliyetleri sorguladı.

Openeurollm projesinde teknik ortak lider olan Peter Sarlin, TechCrunch’a “Deepseek ile ilgili olarak, onu inşa etmek için tam olarak neyin gittiği hakkında çok az şey biliyoruz” dedi.

Ne olursa olsun, Sarlin Openeurollm’in çoğunlukla insanları kapsayacak şekilde yeterli finansmana erişeceğini düşünüyor. Gerçekten de, AI sistemleri oluşturma maliyetlerinin büyük bir kısmı hesaplanıyor ve bu çoğunlukla EUROHPC Merkezleri ile ortaklığı ile ele alınmalıdır.

Sarlin, “Openeurollm’in aslında oldukça önemli bir bütçesi olduğunu söyleyebilirsiniz” dedi. “Eurohpc, yapay zekaya milyarlarca yatırım yaptı ve altyapıyı hesapladı ve önümüzdeki birkaç yıl içinde bunu genişletmeye milyarlarca daha fazla taahhüt etti.”

Ayrıca, Openeurollm projesinin tüketici veya kurumsal sınıf bir ürüne doğru ilerlemediğini belirtmek gerekir. Bu tamamen modellerle ilgilidir ve bu yüzden Sarlin onun bütçesinin bol olması gerektiğini düşünüyor.

Sarlin, “Buradaki niyet bir chatbot veya AI asistanı inşa etmek değil – bu çok çaba gerektiren bir ürün girişimi olurdu ve ChatGPT’nin bu kadar iyi yaptığı şey budur” dedi. “Katkıda bulunduğumuz şey, Avrupa’daki şirketlerin üzerine inşa etmesi için AI altyapısı olarak işlev gören açık kaynaklı bir temel modeli. Modeller oluşturmak için ne gerektiğini biliyoruz, milyarlarca için ihtiyacınız olan bir şey değil. ”

2017’den bu yana, Sarlin, HPLT projesi de dahil olmak üzere diğerleriyle ortaklaşa Poro ve Viking Open modellerinin ailesi ile ortaklaşa başlatan AI Lab Silo AI öncülük etti. Bunlar zaten bir avuç Avrupa dilini destekliyor, ancak şirket şimdi tüm Avrupa dillerini kapsayacak bir sonraki yineleme “Europa” modellerini hazırlıyor.

Ve bu, Hajič tarafından benimsenen tüm “sıfırdan başlamıyor” kavramıyla bağlantılıdır – zaten bir uzmanlık ve teknoloji temel taşı var.

Egemen devlet

Eleştirmenlerin belirttiği gibi, Openeurollm’in olumlu bir görünümle de olsa kabul ettiği çok sayıda hareketli parçaya sahip.

“Birçok işbirlikçi projeye katıldım ve bunun tek bir şirkete karşı avantajları olduğuna inanıyorum” dedi. “Tabii ki Openai to Mistral gibi harika şeyler yaptılar, ancak umarım akademik uzmanlık ve şirketlerin odağı yeni bir şey getirebilir.”

Ve birçok açıdan, büyük teknoloji veya milyar dolarlık AI girişimlerinden daha fazlasını denemekle ilgili değil; Nihai hedef dijital egemenliktir: (çoğunlukla) Avrupa tarafından inşa edilen açık temel llms.

“Umarım durum böyle olmaz, ama sonunda, bir numaralı model değilsek ve ‘iyi’ bir modelimiz varsa, o zaman hala Avrupa’da bulunan tüm bileşenlere sahip bir modelimiz olacak, Hajič dedi. “Bu olumlu bir sonuç olacak.”