Apple’ın yeni yapay zeka araştırması, yüksek fiyat etiketi olmadan yüksek performans vaat ediyor

Dil modelleri, özetleme, çeviri yapma, soruları yanıtlama ve makale yazma gibi çeşitli görevler için doğal dil üretebilen güçlü araçlardır. Ancak, özellikle yüksek doğruluk ve düşük gecikme gerektiren özel alanlar için eğitilmeleri ve çalıştırılmaları da pahalıdır.

Apple’ın en son yapay zeka araştırması tam da bu noktada devreye giriyor. iPhone üreticisi, sınırlı bütçelerle yüksek düzeyde performans sağlayan dil modelleri yaratarak yapay zeka alanında büyük bir mühendislik atılımını yakın zamanda yayınladı. Takımın en yeni makalesi, “Sınırlı Etki Alanı Verilerinden Ucuz Çıkarım Yapan Özel Dil Modelleri“, daha önce karmaşık yapay zeka teknolojilerinin yüksek maliyetleri nedeniyle kenara itilen işletmelere bir cankurtaran halatı sunarak, yapay zeka gelişimine uygun maliyetli bir yaklaşım sunuyor.

Hugging Face’in bir özelliği de dahil olmak üzere hızla dikkat çeken yeni açıklama Günlük Gazeteler, genellikle yeni yapay zeka projelerini örten finansal belirsizliği ortadan kaldırır. Araştırmacılar dört maliyet alanını belirledi: eğitim öncesi bütçe, uzmanlık bütçesi, çıkarım bütçesi ve alan içi eğitim setinin boyutu. Bu harcamaları akıllıca yönlendirerek hem uygun fiyatlı hem de etkili yapay zeka modelleri oluşturulabileceğini savunuyorlar.

Düşük maliyetli dil işlemede öncü

Ekibin tanımladığı gibi ikilem şu: “Büyük dil modelleri çok yönlü bir araç olarak ortaya çıktı ancak büyük çıkarım bütçeleri ve geniş alan içi eğitim setleri olmayan görevlere uygulanması zor.” Çalışmaları iki farklı yol sunarak yanıt veriyor: hiper ağlar Ve uzman karışımları Cömert eğitim öncesi bütçeleri olanlar için ve daha kısıtlı bütçelere sahip ortamlar için daha küçük, seçici olarak eğitilmiş modeller.

Araştırmada yazarlar, hiper ağlar, uzman karışımı, önem örneklemesi ve damıtma gibi makine öğrenimi literatüründeki farklı yaklaşımları karşılaştırmış ve bunları üç alanda değerlendirmiştir: biyomedikal, hukuk ve haberler.

Ayara bağlı olarak farklı yöntemlerin daha iyi performans gösterdiğini buldular. Örneğin, hiper ağlar ve uzmanlardan oluşan bir karışım, büyük eğitim öncesi bütçeler için daha iyi bir kafa karışıklığına sahipken, önemli örneklenmiş veri kümeleri üzerinde eğitilmiş küçük modeller, büyük uzmanlık bütçeleri için caziptir.

Makale ayrıca belirli bir alan ve bütçe için en iyi yöntemin seçilmesine yönelik pratik yönergeler de sunmaktadır. Yazarlar, çalışmalarının “dil modellerini daha geniş bir uygulama ve kullanıcı yelpazesi için daha erişilebilir ve kullanışlı hale getirmeye” yardımcı olabileceğini iddia ediyor.

Bütçe bilincine sahip modellerle sektöre yön vermek

Bu makale, dil modellerinin nasıl daha verimli ve uyarlanabilir hale getirilebileceğine dair büyüyen bir araştırma grubunun bir parçasıdır. Örneğin, doğal dil işleme için açık kaynaklı araçlar ve modeller sunan bir şirket olan Hugging Face, yakın zamanda Google ile bir girişim başlattı bu, kullanıcıların çeşitli etki alanları ve diller için özel dil modelleri oluşturmasını ve paylaşmasını kolaylaştırır.

Aşağı yönlü görevler hakkında daha fazla değerlendirmeye ihtiyaç duyulsa da araştırma, işletmelerin büyük yapay zeka modellerini yeniden eğitmek ile daha küçük, verimli olanları uyarlamak arasında karşılaştığı ödünleşimleri vurguluyor. Doğru tekniklerle her iki yol da kesin sonuçlara yol açabilir. Kısacası araştırma, en iyi dil modelinin en büyüğü değil, en uygunu olduğu sonucuna varıyor.