Liquid AI, yeni ‘sırtlan Edge’ modeline sahip akıllı telefonlar gibi kenar cihazlarında çalışmak üzere LLMS’de devrim yaratıyor

Massachusetts Teknoloji Enstitüsü’nden (MIT) bükülmüş Boston merkezli temel model girişimi Liquid AI, teknoloji endüstrisini, en popüler büyük dil modellerini (LLMS) destekleyen transformatör mimarisine güvenmenin ötesine taşımaya çalışıyor. Openai’nin GPT’si seri ve Google’ın İkizleri aile.

Dün, şirket açıkladı:Sırtlan kenarı”Akıllı telefonlar ve diğer kenar cihazları için tasarlanmış yeni bir evrişim tabanlı, çok hibrit model Uluslararası Öğrenme Temsilleri Konferansı (ICLR) 2025.

Makine öğrenimi araştırmaları için önde gelen etkinliklerden biri olan konferans, bu yıl Avusturya’nın Viyana kentinde gerçekleşiyor.

Yeni evrişim tabanlı model, kenarda daha hızlı, daha fazla bellek tasarruflu yapay zeka vaat ediyor

Hemena Edge, hem hesaplama verimliliği hem de dil modeli kalitesi konusunda güçlü transformatör taban çizgilerinden daha iyi performans gösterecek şekilde tasarlanmıştır.

Bir Samsung Galaxy S24 Ultra akıllı telefondaki gerçek dünya testlerinde, model parametre eşleştirilmiş bir Transformer ++ modeline kıyasla daha düşük gecikme, daha küçük bellek ayak izi ve daha iyi karşılaştırma sonuçları verdi.

Edge AI’nın yeni bir dönemi için yeni bir mimari

SMOLLM2, PHI modelleri ve Llama 3.2 1B dahil olmak üzere mobil dağıtım için tasarlanan çoğu küçük modelin aksine, sırtlan kenarı geleneksel dikkat ağır tasarımlarından uzaklaşır. Bunun yerine, Stratejik olarak Gruplanmış Sorgu Dikkat (GQA) operatörlerinin üçte ikisini, Hiden-Y ailesinden kapılı kıvrımlarla değiştirir.

Yeni mimari, Sıvı AI’nın model omurgalarını otomatik olarak tasarlamak için evrimsel algoritmalar kullanan özel mimariler (STAR) çerçevesi sentezinin sonucudur. Aralık 2024’te açıklandı.

Star, gecikme, bellek kullanımı ve kalite gibi donanıma özgü birçok hedefi optimize etmek için doğrusal girdi değişen sistemlerin matematiksel teorisine dayanan çok çeşitli operatör kompozisyonlarını araştırıyor.

Doğrudan tüketici donanımına kıyaslanmış

Hiden Edge’in gerçek dünyadaki hazırlığını doğrulamak için Liquid AI, doğrudan Samsung Galaxy S24 Ultra akıllı telefonda testler yaptı.

Sonuçlar, sırtlan kenarının transformatör ++ muadili ile karşılaştırıldığında% 30’a kadar daha hızlı propilleme ve kod çözdüğünü ve hız avantajlarının daha uzun dizi uzunluklarında arttığını göstermektedir.

Kısa sıra uzunluklarında önceden doldurma gecikmeleri de transformatör taban çizgisini geride bıraktı-duyarlı cihazdaki uygulamalar için kritik bir performans metriği.

Bellek açısından, sırtlanlar, test edilen tüm dizi uzunluklarında çıkarım sırasında sürekli olarak daha az RAM kullandı ve sıkı kaynak kısıtlamalarına sahip ortamlar için güçlü bir aday olarak konumlandırdı.

Dil ölçütlerinde transformatörlerin daha iyi performans göstermesi

Hiden Edge 100 milyar jeton üzerinde eğitildi ve Wikitext, Lambada, Piqa, Hellaswag, Winogrande, Arc-Easy ve Arc-Challenge gibi küçük dil modelleri için standart kriterler arasında değerlendirildi.

Her ölçütte, sırtlan kenarı, GQA-Transformer ++ modelinin performansıyla eşleşti veya aştı, wikitext ve lambada üzerinde şaşkınlık puanlarında belirgin iyileştirmeler ve PIQA, Hellaswag ve Winogrande üzerinde daha yüksek doğruluk oranları ile.

Bu sonuçlar, modelin verimlilik kazanımlarının öngörücü kalite pahasına gelmediğini göstermektedir-bu, optimize edilmiş birçok mimari için ortak bir değiş tokuş.

Yemin Edge Evolution: Performans ve Operatör Trendlerine Bakış

Hiden Edge’in geliştirme sürecine daha derin bir dalış arayanlar için Video İzlenmesi Modelin evriminin zorlayıcı bir görsel özetini sağlar.

Video, önleme gecikmesi, kod çözme gecikmesi ve bellek tüketimi dahil olmak üzere temel performans metriklerinin birbirini takip eden mimarlık arıtma nesilleri üzerinde nasıl geliştiğini vurgulamaktadır.

Ayrıca, sırtlan kenarının iç bileşiminin gelişim sırasında nasıl değiştiğine nadir görülen bir perde arkası bakış sunar. İzleyiciler, kendi kendine dikkat (SA) mekanizmaları, çeşitli sırtlanlar varyantları ve Swiglu katmanları gibi operatör tiplerinin dağılımında dinamik değişiklikler görebilirler.

Bu değişimler, modelin mevcut verimlilik ve doğruluk seviyesine ulaşmasına yardımcı olan mimari tasarım ilkeleri hakkında bilgi verir.

Video zaman içinde değiş tokuşları ve operatör dinamiklerini görselleştirerek, Hiden Edge’in performansının altında yatan mimari atılımları anlamak için değerli bağlam sağlar.

Açık kaynak planları ve daha geniş bir vizyon

Liquid AI, önümüzdeki aylarda sırtlan kenarı da dahil olmak üzere bir dizi sıvı temel modelini açık kaynaklamayı planladığını söyledi. Şirketin amacı, bulut veri merkezlerinden kişisel Edge cihazlarına kadar ölçeklenebilen yetenekli ve verimli genel amaçlı AI sistemleri oluşturmaktır.

Hiden Edge’in çıkışı, alternatif mimarilerin pratik ortamlarda transformatörlere meydan okuma potansiyelini de vurgulamaktadır. Mobil cihazların giderek daha fazla sofistike AI iş yükleri çalıştırması beklenirken, Hiden Edge gibi modeller, Edge optimize edilmiş AI’nın elde edebileceği için yeni bir temel oluşturabilir.

Hema Edge’in başarısı – hem ham performanslı metriklerde hem de otomatik mimari tasarımın sergilemesinde – Liquid Ai’yi gelişen AI model manzarasında izlemek için gelişmekte olan oyunculardan biri olarak konumlandırıyor.