Alibaba hayır iddiasında bulunuyor. Qwen2-Math ile yapay zeka matematik modellerinde 1. sıra

Eğer “Qwen2”yi duymadıysanız bu anlaşılabilir bir durumdur ancak konu yazılım geliştirme, mühendislik ve STEM alanlarında dünya çapında çok önemli bir konu olduğunda, diğerlerinden tacı alan şaşırtıcı yeni bir sürümle bugünden itibaren her şey değişmeli. üzerinde: matematik.

Qwen2 nedir?

Startup’lardan ve teknoloji şirketlerinden pek çok yeni yapay zeka modelinin ortaya çıkmasıyla, alana çok dikkat edenlerin bile buna ayak uydurması zor olabilir.

Qwen2 açık kaynaklı bir büyük dil modeli (LLM) rakibidir OpenAI’nin GPT’leri, Meta’nın Lamalarıve Anthropic’in Claude ailesi, ancak Alibaba BulutuÇin e-ticaret devi Alibaba’nın bulut depolama bölümü.

Alibaba Bulut başladı kendi yüksek lisanslarını “Tongyi Qianwen” veya kısaca Qwen alt markası altında piyasaya sürüyor, Ağustos 2023’te açık kaynaklı modeller dahil Qwen-7B, Qwen-72B ve Qwen-1.8Bsırasıyla 72 milyar ve 1,8 milyar parametreyle (her modelin ayarlarına ve nihayetinde zekasına atıfta bulunur), ardından aşağıdakileri içeren çok modlu değişkenler gelir: Qwen-Ses Ve Qwen-VL (görme girişleri için)ve sonunda Qwen2, Haziran 2024’ün başında geri dönüyor beş çeşidi vardır: 0,5B, 1,5B, 7B, 14B ve 72B. Alibaba, bu süre içinde Qwen ailesinde toplamda farklı boyut ve işlevlere sahip 100’den fazla yapay zeka modelini piyasaya sürdü.

Ve özellikle Çin’deki müşteriler, şunu not etti: 90.000 işletme piyasaya çıktıkları ilk yılda operasyonlarında Qwen modellerini benimsedikleri bildirildi.

Bu modellerin çoğu, piyasaya sürülme tarihlerinde en son teknolojiye sahip veya buna yakın performansla övünse de, Yüksek Lisans ve Yapay Zeka model yarışı daha geniş anlamda dünya çapında o kadar hızlı hareket ediyor ki, performans açısından diğer açık ve yakın modellerin hemen gölgesinde kaldılar. kapalı kaynak rakipleri. Şimdiye kadar.

Qwen2-Matematik nedir?

Bugün, Alibaba Cloud’un Qwen ekibi ambalajı açtı. Qwen2-Matematikİngilizce dili için tasarlanmış yeni bir “matematiğe özgü büyük dil modelleri serisi”. Bunlardan en güçlüsü, dünya çapındaki tüm diğerlerinden daha iyi performans gösteriyor; bunlar arasında övülen OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet ve hatta Google’ın Math-Gemini Specialized 1.5 Pro’su da var.

Spesifik olarak, 72 milyar parametreli Qwen2-Math-72B-Instruct varyantı %84 oranında çalışıyor. LLM’ler için MATH Karşılaştırması12.500 “zorlu rekabet matematik problemi” ve buna ek olarak LLM’lerin tamamlamasının son derece zor olabileceği sözlü problemler sağlayan (daha büyük olan teste bakın: 9.9 veya 9.11).

Burada yer alan bir soruna bir örnek verilmiştir: MATH veri kümesi:

Açıkçası bu, kendi başıma cevaplayabileceğim bir soru değil ve kesinlikle saniyeler içinde de değil, ama görünen o ki Qwen2-Math çoğu zaman cevaplayabiliyor.

Belki de şaşırtıcı olmayan bir şekilde, Qwen2-Math-72B Instruct aynı zamanda rekabette öne çıkıyor ve daha iyi performans gösteriyor. ilkokul matematik karşılaştırması GSM8K (8.500 soru) %96,7 ve üniversite düzeyindeki matematikte (College Math kıyaslaması) %47,8.

Ancak Alibaba’nın Microsoft’un yeni ürünlerini karşılaştırmaması dikkat çekicidir. Orca-Math modeli Şubat 2024’te piyasaya sürüldü karşılaştırma grafiklerinde ve 7 milyar parametreli modelin (Mistral-7B’nin bir çeşidi, kendisi de Llama’nın bir çeşidi), Orca-Math için %86,81 ile Qwen2-Math-7B-Instruct modeline %89,9 ile yaklaştığı görüldü. Qwen-2-Math-7B-Instruct için.

Ancak Qwen2-Math’in en küçük versiyonu olan 1,5 milyar parametreli versiyon bile, GSM8K’da %84,2 ve üniversite matematiğinde %44,2 puan alarak, kendi boyutunun 4 katından daha fazla takdire şayan ve modele yakın bir performans sergiliyor.

Matematik yapay zeka modelleri ne işe yarar?

LLM’lerin ilk kullanımı, sohbet robotlarında ve işletmelerde çalışanların veya müşterilerin sorularını yanıtlamak veya belge taslakları hazırlamak ve bilgileri daha hızlı ayrıştırmak için kullanımlarına odaklanmış olsa da, matematik odaklı LLM’ler, düzenli olarak problem çözmek isteyenler için daha güvenilir araçlar sağlamayı amaçlamaktadır. Denklemler ve sayılarla çalışma.

İronik bir şekilde, tüm kodların matematik temellerine dayandığı göz önüne alındığında, LLM’ler şu ana kadar matematik problemlerini çözmede önceki yapay zeka veya makine öğrenimi dönemleri ve hatta daha eski yazılımlar kadar güvenilir olamadı.

Qwen2-Math’in arkasındaki Alibaba araştırmacıları, “Qwen2-Math’in karmaşık matematik problemlerinin çözümünde topluluğa katkıda bulunabileceğini umduklarını” belirtiyor.

Qwen2-Math’i kullanmak isteyen kuruluşlar ve bireyler için özel lisanslama koşulları Tamamen açık kaynak olmaktan uzaktır ve aylık 100 milyondan fazla aktif kullanıcıya sahip herhangi bir ticari kullanımın, yaratıcılardan ek izin ve lisans almasını gerektirir. Ancak bu hala son derece hoşgörülü bir üst sınırdır ve birçok yeni girişimin, KOBİ’nin ve hatta bazı büyük işletmelerin Qwen-2 Math’ı ticari olarak (para kazanmak için) esasen ücretsiz olarak kullanmasına olanak tanır.