AI21’in Jamba-Instruct’ındaki kar tanesi halatları, kuruluşların uzun belgelerin şifresini çözmesine yardımcı oluyor

Bugün veri bulutu devi kar tanesi İsrailli yapay zeka girişimini eklediğini duyurdu AI21 Laboratuvarları kurumsal odaklı Jamba-Instruct LLM Cortex yapay zeka hizmeti.

Bugünden itibaren kullanıma sunulacak olan model, Snowflake’in kurumsal müşterilerinin, kalite ve doğruluktan ödün vermeden uzun belgeleri yönetebilecek üretken yapay zeka uygulamaları (sohbet robotları ve özetleme araçları gibi) oluşturmasına olanak tanıyacak.

Kuruluşların büyük dosya ve belgelere olan büyük bağımlılığı göz önüne alındığında, Jamba-Instruct ekipler için büyük bir varlık olabilir. Ancak burada AI21’in Snowflake’in tek büyük dil modeli (LLM) ortağı olmadığını belirtmek önemlidir. Sridhar Ramaswamy liderliğindeki şirket, gen yapay zeka kategorisine odaklandı. Yüksek performanslı, veri odaklı yapay zeka uygulamaları geliştirmek için tam bir ekosistem oluşturmak amacıyla halihazırda çeşitli çalışmalar başlattı.

Sadece birkaç gün önce şirket, tamamen yeni bir ürün sunmak için Meta ile bir ortaklık yaptığını duyurdu. Llama 3.1 Yüksek Lisans ailesi Cortex’e. Bundan önce, ‘ adı verilen tescilli bir işletme modelini piyasaya sürdü.Arktik‘. Yaklaşım, rakip Databricks’in yaklaşımına oldukça benziyor. MozaikML geçen yıl ve o zamandan beri agresif bir şekilde hareket ediyor ve kendi DBRX model oluşturma ve müşterilerin geliştirebileceği yeni LLM’ler ve araçlar ekleme.

Jamba-Instruct Snowflake kullanıcılarına neler sunuyor?

Mart ayında AI21, Jamba ile manşetlerDenenmiş ve test edilmiş transformatör mimarisini yeni, bellek açısından verimli Yapılandırılmış Durum Alanı modeliyle (SSM) birleştiren açık üretken bir yapay zeka modeli. Hibrit model, kullanıcılara devasa bir 256K içerik penceresine (LLM’nin işleyebileceği veri miktarı) erişim sağladı ve 52B parametresinden yalnızca 12B’sini etkinleştirerek yalnızca güçlü değil aynı zamanda verimli bir çözüm sundu.

AI21’e göre Jamba, uzun bağlamlarda 3 kat verim sağladı. Karışım 8x7B (kendi boyut sınıfındaki başka bir model), işletmeler için cazip bir teklif sunuyor. Bu, şirketin kurumsal kullanım senaryolarına uygun hale getirmek için ek eğitim, sohbet yetenekleri ve güvenlik korkuluklarına sahip, modelin talimatlara göre ayarlanmış bir versiyonu olan Jamba-Instruct’u piyasaya sürmesine yol açtı.

Ticari model, Mayıs ayında AI21 platformunda piyasaya sürüldü ve şimdi Snowflake’in platformda barındırılan veriler üzerinde güçlü nesil yapay zeka uygulamaları oluşturmaya yönelik kodsuz, tam olarak yönetilen hizmeti Cortex AI’ye doğru ilerliyor.

“Geniş bağlam penceresi kapasitesi nedeniyle Jamba-instruct’un güçlü işleme yetenekleri var. Yaklaşık 800 sayfalık metne eşdeğer olan 256 bine kadar jetonu işleyebilir. Bu, Jamba-instruct’ı kurumsal mali geçmiş, kazanç çağrısı transkriptleri veya uzun klinik deneme görüşmeleri gibi kapsamlı belge işlemeyle ilgili çeşitli kullanım durumları için son derece güçlü bir model haline getiriyor, “Snowflake AI başkanı Barış Gültekin VentureBeat’e söyledi.

Örneğin, yatırım bankalarındaki veya hedge fonlarındaki mali analistler, genellikle 100 sayfadan fazla içeren 10-K başvurularından hızlı ve doğru bilgiler elde etmek için LLM tarafından desteklenen bir Soru-Cevap veya özetleme aracını kullanabilir. Benzer şekilde, klinisyenler ilgili bilgileri elde etmek için kısa sürede uzun hasta raporlarını inceleyebilir ve perakendeciler müşterilerle uzun ve referansa dayalı görüşmeleri tutarlı bir şekilde sürdürebilen sohbet robotları oluşturabilir.

Gültekin, modelin uzun bağlam penceresinin tüm inşaat deneyimini basitleştirebileceğini kaydetti. RAG boru hatları tek bir büyük bilgi yığınının alınmasına izin vererek ve hatta modeli oluştururken belirli bir tonu takip etmeye yönlendirmek için “çoklu uyarıyı” destekleyerek.

Başlıca maliyet avantajları

Snowflake müşterileri, uzun belgeleri işleme yeteneğinin yanı sıra Jamba-Instruct’tan büyük maliyet avantajları da bekleyebilirler.

Temel olarak, modelin hibrit doğası, seçilen parametreleri etkinleştiren uzmanların karışımı (MoE) katmanlarıyla birleştiğinde, 256K bağlam penceresini aynı boyuttaki talimat ayarlı diğer transformatör modellerine göre daha ekonomik olarak erişilebilir hale getirir. Ayrıca Cortex AI’nin tüketime dayalı fiyatlandırma modeline sahip sunucusuz çıkarımı, kuruluşların özel altyapıyı kendi başlarına sürdürmek yerine yalnızca kullanılan kaynaklar için ödeme yapmalarını sağlar.

“Kuruluşlar Snowflake’in ölçeklenebilirliğinden ve Jamba-Instruct’ın verimliliğinden yararlanarak performansı, maliyeti ve gecikmeyi dengeleyebilir. Cortex AI’nin çerçevesi, optimum performans ve maliyet avantajları için bilgi işlem kaynaklarının kolayca ölçeklendirilmesini sağlar. Bu arada, Jamba-Instruct’un mimarisi gecikmeyi en aza indiriyor,” dedi AI21 Laboratuvarları Kuzey Amerika Kıdemli Başkan Yardımcısı ve Genel Müdürü Pankaj Dugar, VentureBeat’e söyledi.

Şu an itibariyle, Jamba-Instruct ile birlikte tam olarak yönetilen hizmet, Snowflake’in kendi Arctic’i ve Google, Meta, Mistral Yapay Zeka Ve Lezzetli yapay zeka.

“Karmaşık entegrasyonlar kurmaya veya verileri bulundukları yerden taşımaya gerek kalmadan, müşterilerimize açık kaynak veya ticari modeller arasından seçim yapma esnekliği sunmayı, kendi özel kullanım durumları, maliyet ve performans gereksinimlerini karşılayacak en iyi modeli seçme esnekliği sunmayı amaçlıyoruz. Zaten Yapay Zeka Veri Bulutu içerisinde yönetiliyor” diye açıkladı Gültekin.

Önümüzdeki aylarda platformda AI21 modelleri de dahil olmak üzere daha büyük modellerin piyasaya sürülmesiyle listenin daha da büyümesi bekleniyor. Ancak AI başkanı, şirketin yalnızca belirli gereksinimleri ve kullanım durumlarını karşılayan modelleri içerdiğinden emin olmak için LLM’leri değerlendirirken ve entegre ederken müşteri geri bildirimlerini sürekli takip ettiğini belirtti.

“LLM’leri Cortex AI’ye dahil etme konusunda çok katı kurallarımız ve süreçlerimiz var… Sunulan modelin, otomatik BI’dan konuşma asistanlarına, metin işleme ve özetlemeye kadar geniş bir kullanım senaryosu yelpazesini kapsadığından emin olmak istiyoruz. Ve modelin benzersiz yeteneklere sahip olması gerekiyor; örneğin, Jamba-instruct bugüne kadar sunduğumuz modeller arasında en geniş bağlam penceresine sahip” diye ekledi.

Snowflake ayrıca birkaç ay önce şirketlerin artan model seçenekleri karşısında bunalmalarını önlemek için TruEra’yı satın aldı. Gültekin, LLM denemeleri yapmak ve kendileri için en iyi olanı değerlendirmek için girişimin TruLens teklifini kullanabileceklerini söyledi.

Şu anda 5.000’den fazla kuruluş Snowflake’in yapay zeka yeteneklerini (Cortex ve diğer ilgili özellikler) kullanıyor; en yaygın kullanım örnekleri arasında otomatikleştirilmiş iş zekası, konuşma asistanları ve metin özetleme yer alıyor.