Hugging Face, Nvidia NIM tarafından desteklenen bir hizmet olarak çıkarım sunuyor

Sarılma Yüz geliştiricilere bir teklif sunuyor hizmet olarak çıkarım tarafından desteklenmektedir Nvidia NIM mikro hizmetleri.

Yeni hizmet, popüler yapay zeka modelleriyle milyonlarca kullanıcıya beş kata kadar daha iyi token verimliliği sağlayacak
geliştiricilere ve Nvidia DGX Cloud’da çalışan NIM mikro hizmetlerine anında erişim sağlar.

Şirketler duyuruları Nvidia CEO’su Jensen Huang’ın konferanstaki konuşması sırasında yaptı. İmza Denver, Colorado’da bilgisayar grafikleri konferansı.

Hugging Face platformunda dört milyon geliştiriciden oluşan dünyanın en büyük yapay zeka topluluklarından biri, en popüler yapay zeka modellerinden bazılarında Nvidia tarafından hızlandırılmış çıkarımlara kolay erişim sağlıyor.

Yeni hizmet olarak çıkarım yetenekleri, geliştiricilerin Llama 3 ailesi ve Mistral AI modelleri gibi önde gelen büyük dil modellerini aşağıdaki optimizasyonlarla hızla devreye almalarına olanak tanıyacak: Nvidia NIM çalışan mikro hizmetler Nvidia DGX Bulutu.

Bugün Siggraph konferansında duyurulan hizmet, geliştiricilerin Hugging Face Hub’da barındırılan açık kaynaklı yapay zeka modelleriyle hızlı bir şekilde prototip oluşturmasına ve bunları üretimde dağıtmasına yardımcı olacak. Hugging Face Enterprise Hub kullanıcıları, Nvidia NIM ile daha fazla esneklik, minimum altyapı yükü ve optimize edilmiş performans için sunucusuz çıkarımdan yararlanabilir.

Üretken yapay zeka yazılım ürün yönetiminden sorumlu başkan yardımcısı Kari Briski, bir basın toplantısında üretken yapay zekayı üretime sokma zamanının artık geldiğini ancak bazıları için bunun göz korkutucu bir görev olabileceğini söyledi.

“Geliştiriciler, API’ler ve prototiplerle çalışmanın ve bir modelin kendi uygulamalarında hem doğruluk hem de gecikme açısından nasıl performans gösterebileceğini test etmenin kolay yollarını istiyor” dedi. “Uygulamaların, bir yanıt elde etmek için farklı veri kaynaklarına bağlanarak birlikte çalışan birden fazla modeli var ve birçok görev ve modalitede modellere ve bunların optimize edilmesine ihtiyacınız var.”

Nvidia’nın üretken yapay zeka ve Nvidia NIM mikro hizmetlerini başlatmasının nedeni budur.

Çıkarım hizmeti, Hugging Face’te halihazırda mevcut olan bir yapay zeka eğitim hizmeti olan Train on DGX Cloud’u tamamlıyor.

Giderek artan sayıda açık kaynak modeliyle karşı karşıya kalan geliştiriciler, seçenekleri kolayca karşılaştırabilecekleri bir merkezden yararlanabilir. Bu eğitim ve çıkarım araçları, Hugging Face geliştiricilerine Nvidia ile hızlandırılmış altyapı üzerinde en yeni modelleri denemeleri, test etmeleri ve dağıtmaları için yeni yollar sunuyor. Hugging Face model kartlarındaki “Eğitim” ve “Dağıt” açılır menüleri kullanılarak bunlara kolayca erişilebilir hale getirilerek kullanıcıların yalnızca birkaç tıklamayla başlamalarına olanak sağlanır.

Nvidia NIM tarafından desteklenen hizmet olarak çıkarım

Nvidia NIM endüstri standardı uygulama programlama arayüzlerini veya API’leri kullanarak çıkarım yapmak üzere optimize edilmiş, Nvidia AI temel modelleri ve açık kaynak topluluk modelleri dahil olmak üzere bir AI mikro hizmetleri koleksiyonudur.

NIM, kullanıcılara, bir dil modeli tarafından kullanılan ve oluşturulan veri birimleri olan belirteçlerin işlenmesinde daha yüksek verimlilik sunar. Optimize edilmiş mikro hizmetler aynı zamanda temeldeki Nvidia DGX Bulut altyapısının verimliliğini de artırıyor ve bu da kritik yapay zeka uygulamalarının hızını artırabiliyor.

Bu, geliştiricilerin, NIM olarak erişilen bir yapay zeka modelinden, modelin diğer sürümleriyle karşılaştırıldığında daha hızlı, daha sağlam sonuçlar görmesi anlamına gelir. Örneğin Llama 3’ün 70 milyar parametreli versiyonu, Nvidia H100 Tensor Core GPU destekli sistemlerde kullanıma hazır dağıtımla karşılaştırıldığında NIM olarak erişildiğinde beş kata kadar daha yüksek verim sağlıyor.

Nvidia DGX Cloud platformu, üretken yapay zeka için özel olarak tasarlandı ve geliştiricilere, üretime hazır uygulamaları pazara daha hızlı sunmalarına yardımcı olabilecek güvenilir, hızlandırılmış bilgi işlem altyapısına kolay erişim sağlıyor.

Platform, geliştiricilerin uzun vadeli yapay zeka altyapısı taahhütleri vermesini gerektirmeden, prototipten üretime kadar yapay zeka geliştirmenin her adımını destekleyen ölçeklenebilir GPU kaynakları sağlıyor.

NIM mikro hizmetleri tarafından desteklenen Nvidia DGX Cloud’da hizmet olarak yüz çıkarımını kucaklamak, yapay zeka dağıtımı için optimize edilmiş bilgi işlem kaynaklarına kolay erişim sunarak kullanıcıların kurumsal düzeyde bir ortamda en yeni yapay zeka modellerini denemelerine olanak tanır.

OpenUSD çerçevesi için mikro hizmetler

Siggraph’ta Nvidia da şunları tanıttı: üretken yapay zeka modelleri ve NIM mikro hizmetleri OpenUSD çerçevesinin, geliştiricilerin yapay zekanın bir sonraki evrimi için son derece hassas sanal dünyalar oluşturma becerilerini hızlandırmasını hedefliyoruz.