Musk’un Grok yapay zekası açık kaynağa gidiyor

Sözüne sadık kalarak, milyarder çoklu şirket lideri Elon Musk’un bugün başlattığı xAI girişimi ilk büyük dil modelini (LLM) Grok açık kaynağını yaptı.

Hareket, hangi Musk daha önce bu hafta gerçekleşeceğini açıklamıştıartık herhangi bir girişimcinin, programcının, şirketin veya bireyin Grok’un eğitimini almasına olanak tanıyor ağırlıklar — modelin yapaylığı arasındaki bağlantıların gücü “nöronlar“veya modelin kararlar almasına, girdileri kabul etmesine ve metin biçiminde çıktılar sağlamasına ve diğer ilgili belgelere izin veren ve ticari uygulamalar da dahil olmak üzere modelin bir kopyasını istedikleri gibi kullanmasına olanak tanıyan yazılım modülleri.

Şirket, “Geniş dil modelimiz Grok-1’in temel model ağırlıklarını ve ağ mimarisini yayınlıyoruz” dedi. bir blog yazısı. “Grok-1, xAI tarafından sıfırdan eğitilmiş, 314 milyar parametreli bir Uzmanlar Karması modelidir.”

İlgilenenler kodu indirebilir Grok Github sayfasında veya torrent bağlantısı aracılığıyla.

Grok’un açık kaynak kullanımı ne anlama geliyor?

Parametreler modelin nasıl çalıştığını belirleyen ağırlıkları ve önyargıları ifade eder; ne kadar çok parametre olursa, genellikle model o kadar gelişmiş, karmaşık ve performanslı olur. 314 milyar parametreyle Grok, aşağıdaki gibi açık kaynak rakiplerinin çok ilerisindedir: Meta’nın Llama 2’si (70 milyar parametre) Ve Mistral 8x7B (12 milyar parametre).

Grok açık kaynaklıydı Apache Lisansı 2.0ticari kullanıma, değişikliklere ve dağıtıma olanak sağlayan, ancak ticari markalaştırılamamasına ve kullanıcıların bununla ilgili herhangi bir sorumluluk veya garanti almamasına rağmen. Ayrıca orijinal lisans ve telif hakkı bildirimini çoğaltmalı ve yaptıkları değişiklikleri belirtmelidirler.

Ekim 2023’te JAX ve Rust’un üzerine özel bir eğitim yığını kullanılarak geliştirilen Grok mimarisi, sinir ağı tasarımına yönelik yenilikçi yaklaşımları içeriyor. Model, belirli bir token için ağırlığının %25’ini kullanır; bu, verimliliğini ve etkinliğini artıran bir stratejidir.

Grok vardı başlangıçta tescilli veya “kapalı kaynak” modeli olarak piyasaya sürüldü Kasım 2023’te ve şu ana kadar yalnızca Musk’un ayrı fakat ilgili sosyal ağı X’te (eski adıyla Twitter), özellikle de aylık 16 dolar veya yıllık 168 dolarlık maliyeti olan X Premium+ ücretli abonelik hizmeti aracılığıyla erişilebiliyordu.

Ancak Grok’un sürümü eğitim verilerinin tamamını içermiyor. Bu, modeli kullanmak için gerçekten önemli değil, çünkü zaten eğitilmiş durumda, ancak kullanıcıların ne öğrendiğini görmesine izin vermiyor – muhtemelen X’teki kullanıcı metin gönderileri ( xAI blog yazısı durumları anlaşılmaz bir şekilde “Büyük miktarda metin verisi üzerinde eğitilmiş, belirli bir görev için ince ayar yapılmamış temel model.”)

Ayrıca, Musk’un başlangıçta Grok’un diğer LLM’lere göre önemli bir özelliği olarak öne sürdüğü X’te mevcut olan gerçek zamanlı bilgilere herhangi bir bağlantı içermiyor. Bunun için kullanıcıların yine de X’in ücretli sürümüne abone olmaları gerekecek.

Bir teknoloji hamlesinden daha fazlası; bir iş ve halkla ilişkiler stratejisi

Musk’ın 2018’de kurucu ortağı olduğu ve sert bir şekilde ayrıldığı ve şu anda rekabet ettiği OpenAI tarafından yapılan ChatGPT’ye rakip olacak şekilde tasarlanan Grok, adını argo terim bu “anlamak” anlamına gelir ve “önceden modellenen bir yapay zeka” olarak tanımlanır. Otostopçunun Galaksi Rehberi” 1970’lerin ufuk açıcı radyo draması ve hicivli bilim kurgu kitap serisi Birleşik Krallık’lı yazar Douglas Adams tarafından (uyarlanmıştır) 2005’in önemli filmi).

Musk, Grok’u ChatGPT’nin ve diğer önde gelen LLM’lerin daha esprili ve sansürsüz bir versiyonu olarak daha olumlu bir şekilde konumlandırdı; bu duruş, daha genel olarak yapay zeka sansürüne ilişkin şikayetler ışığında kullanıcılar arasında yenilenmiş bir çekiciliğe kavuştu. Google Gemini’nin utanç verici ırksal kafa karıştırıcı imaj nesilleri ve şüpheli ideolojik duruşları (Gemini en az bir örnekte şunu önerdi: Musk’un tweet’leri toplum için muhtemelen Nazi lideri Adolf Hitler kadar kötüydü). İkizler elbette yankı uyandırdı Musk’un eleştirisi ve diğer etkili teknoloji liderleri de dahil a16z kurucu ortağı ve web öncüsü Marc Andreessen.

Grok’un açık kaynak kullanımı aynı zamanda Musk’un davasında ve OpenAI’ye yönelik genel eleştirilerinde açıkça yararlı bir ideolojik duruştur. yakın zamanda eski şirketini “kurucu sözleşmesinden” vazgeçmekle suçlayarak dava açtı kar amacı gütmeyen bir kuruluş olarak faaliyet göstermek, ancak OpenAI tarafından savunma amacıyla yayınlanan e-postalar En azından kamuoyu nezdinde bu, Musk’ın özel, kâr amaçlı teknolojiye doğru gidişinin farkında olduğunu ve muhtemelen bunu desteklediğini gösteriyor.

Zaten X’teki AI topluluğu bu sürüme merak ve heyecanla tepki verdi. Özellikle teknik topluluk, ilgi çekici sandviç norm tekniğine gönderme yaparak modelin ileri beslemeli katmanlarda GeGLU kullanımına ve normalizasyon yaklaşımına dikkat çekti. OpenAI çalışanları bile modele olan ilgileri hakkında gönderi paylaştı.

JAX’ta Grok-1 kodunun yayınlanması hakkında birkaç yorum!https://t.co/FpDCrCgz3l

Hızlıca bakarak:
– model güzel yazılmış
– Parçalama için bölümleme kuralları eski t5x stilini takip ediyor
– haiku kullandılar ama ketene güncellemek çok zor olmaz
– MoE katmanlarında Shard_map’i kullanıyorlar…

— Boris Dayma ?️ (@borisdayma) 17 Mart 2024

Bu nedenle, Grok’un piyasaya sürülmesinin diğer tüm LLM sağlayıcıları üzerinde, özellikle de diğer rakip açık kaynak sağlayıcılar üzerinde, potansiyel kullanıcılardan ne kadar üstün olduklarını haklı göstermeleri için baskı oluşturması muhtemeldir.