Meta AI, mobil cihazlar için kompakt dil modeli geliştiriyor

Meta Yapay zeka araştırmacıları MobileLLM’yi tanıttı. yeni yaklaşım akıllı telefonlar ve diğer kaynak kısıtlı cihazlar için tasarlanmış verimli dil modelleri oluşturmaya yöneliktir. 27 Haziran 2024’te yayınlanan bu çalışma, etkili yapay zeka modellerinin gerekli boyutu hakkındaki varsayımlara meydan okuyor.

Meta Reality Labs, PyTorch ve Meta AI Research (FAIR) üyelerinden oluşan araştırma ekibi, 1 milyardan az parametreye sahip modelleri optimize etmeye odaklandı. Bu, bir trilyondan fazla parametreye sahip olduğu tahmin edilen GPT-4 gibi modellerin boyutunun çok küçük bir kısmıdır.

Meta’nın Baş Yapay Zeka Bilimcisi Yann LeCun, X (eski adıyla Twitter) hakkındaki araştırmanın önemli yönlerini vurguladı:

MobileLLM’deki önemli yenilikler şunları içerir:

1. Genişlik yerine model derinliğine öncelik verme
2. Katıştırma paylaşımı ve gruplandırılmış sorgu dikkatini uygulama
3. Yeni bir anında blok bazında ağırlık paylaşımı tekniğinin kullanılması

Bu tasarım seçenekleri, MobileLLM’nin ortak kıyaslama görevlerinde benzer boyuttaki önceki modellerden %2,7 ila %4,3 oranında daha iyi performans göstermesine olanak tanıdı. Bu tek haneli gelişmeler küçük gibi görünse de, son derece rekabetçi olan dil modeli geliştirme alanında anlamlı ilerlemeyi temsil ediyor.

Özellikle MobileLLM’nin 350 milyon parametreli versiyonu, belirli API çağırma görevlerinde çok daha büyük 7 milyar parametreli LLaMA-2 modeliyle karşılaştırılabilir bir doğruluk sergiledi. Bu, bazı spesifik uygulamalar için daha kompakt modellerin, önemli ölçüde daha az hesaplama kaynağı kullanırken benzer işlevsellik sunabileceğini göstermektedir.

MobileLLM’nin gelişimi, daha verimli yapay zeka modellerine olan ilginin artmasıyla paralellik gösteriyor. Çok büyük dil modellerindeki ilerleme yavaşlama belirtileri gösterdikçe, araştırmacılar giderek daha kompakt, özel tasarımların potansiyelini araştırıyor. Verimlilik ve cihaz içi dağıtıma odaklanma, MobileLLM’yi bazı araştırmacıların adlandırdığı kategoriye benzer bir kategoriye yerleştiriyor Küçük Dil Modelleri (SLM’ler)adında “LLM” olmasına rağmen.

MobileLLM henüz genel kullanıma açık olmasa da Meta, diğer araştırmacıların çalışmalarını geliştirmelerine olanak tanıyan ön eğitim kodunu açık kaynaklı hale getirdi. Bu teknoloji geliştikçe kişisel cihazlarda daha gelişmiş yapay zeka özelliklerinin etkinleştirilmesi mümkün olabilir ancak zaman çizelgesi ve kesin yetenekler belirsizliğini koruyor.

MobileLLM’nin gelişimi, gelişmiş yapay zekayı daha erişilebilir ve sürdürülebilir hale getirmede önemli bir adımı temsil ediyor. Etkili dil modellerinin çok büyük olması gerektiği ve kişisel cihazlardaki yapay zeka uygulamaları için potansiyel olarak yeni yollar açması gerektiği fikrine meydan okuyor.