NIM nedir? Nvidia Inference Manager, sektörü değiştirebilecek yeni yapay zeka modeli dağıtımına yönelik yeni bir yaklaşımdır

Nvidia dağıtımını önemli ölçüde hızlandırmayı ve optimize etmeyi hedefliyor üretken yapay zeka hızlı çıkarım için modeller sunmaya yönelik yeni bir yaklaşımla büyük dil modelleri (LLM’ler).

Şu tarihte: Nvidia GTC Yapay zeka devi bugün, optimize edilmiş çıkarım motorlarını, endüstri standardı API’leri ve yapay zeka modelleri desteğini kolay dağıtım için konteynerlerde paketleyen Nvidia Inference Manager (NIM) yazılım teknolojisini duyuruyor. NIM önceden oluşturulmuş modeller sağlarken aynı zamanda kuruluşların kendi özel verilerini getirmelerine olanak tanır ve Alma Artırılmış Nesil (RAG) dağıtımını destekleyecek ve hızlandırmaya yardımcı olacaktır.

NIM teknolojisi önemli bir kilometre taşını temsil ediyor gen yapay zeka dağıtımı Nvidia’nın uzaydaki hemen hemen her model geliştiricisi ve veri platformu üzerinde etkisi olacak yeni nesil çıkarım stratejisinin temeli olarak. Nvidia, SAP, Adobe, Cadence, CrowdStrike, Getty Images, ServiceNow ve Shutterstock gibi büyük yazılım tedarikçilerinin yanı sıra BOX, Cohesity, Cloudera, Databricks, Datastax, Dropbox, NetApp ve Snowflake gibi uzun bir veri platformu sağlayıcı listesiyle de çalıştı. NIM’i destekleyin.

NIM, NVIDIA Kurumsal Yapay Zeka 5.0 sürümünü alan yazılım paketi bugün GTC’de.

Nvidia’nın kurumsal bilgi işlem başkan yardımcısı Manuvir Das, bir basın ön brifingi sırasında şunları söyledi: “Nvidia NIM’in, geliştiricilerin kurumsal uygulamalara odaklanabilmeleri için üzerine inşa edebilecekleri en iyi yazılım paketi ve en iyi çalışma zamanı olduğuna inanıyoruz.” .

Nvidia NIM tam olarak nedir?

En temel düzeyde NIM, mikro hizmetlerle dolu bir kapsayıcıdır.

Kapsayıcı, açık modellerden tescilli modellere kadar, Nvidia GPU’nun olduğu her yerde (bulutta, hatta yalnızca bir dizüstü bilgisayarda) çalışabilen her türlü modeli içerebilir. Buna karşılık, bu konteyner, konteynerin çalışabileceği herhangi bir yere dağıtılabilir; bu, buluttaki bir Kubernetes dağıtımı, bir Linux sunucusu ve hatta sunucusuz bir Hizmet Olarak İşlev modeli olabilir. Nvidia yeni modelinde sunucusuz işlev yaklaşımına sahip olacak ai.nvidia.com geliştiricilerin dağıtımdan önce NIM ile çalışmaya başlayabilecekleri web sitesi.

Açıkça söylemek gerekirse NIM, Nvidia’nın model sunumuna yönelik önceki yaklaşımlarının yerini almaz. Çıkarımı geliştirmek için gerekli teknolojilerin yanı sıra Nvidia GPU’ları için yüksek düzeyde optimize edilmiş bir model içeren bir kapsayıcıdır.

Basın toplantısı sırasında VentureBeat’in bir sorusuna yanıt veren, Yapay Zeka Gen Yazılım Ürün Yönetiminden Sorumlu Başkan Yardımcısı Kari Briski, Nvidia’nın bir platform şirketi olduğunu vurguladı. Nvidia’nın Tensor RT ve Triton Inference Server gibi araçlarla çıkarımı desteklemeye yardımcı olduğu tüm yolların hala önemli teknolojiler olduğunu belirtti.

“Bulduğumuz şey, tüm bu parçaları bir üretim ortamı için bir araya getirmenin gen yapay zekasını geniş ölçekte çalıştırın Briski, çok fazla bilgi birikimi ve uzmanlık gerektiriyor, bu yüzden bunları bir araya getirdik” dedi.

NIM’ler, kuruluşlar için duyarlı RAG yeteneklerinin güçlendirilmesine yardımcı olacak

NIM’ler için güçlü bir kullanım örneği, RAG dağıtım modellerinin desteklenmesi olacaktır.

Das, “Konuştuğumuz hemen hemen her müşteri bu RAG’lardan düzinelerce veya yüzlercesini zaten uyguladı” dedi. “Soru aslında üretime nasıl geçeceğimizle ilgili? Yaptığımız prototiplemeyi nasıl alıp, şimdi bu modelleri kullanarak üretime geçerek gerçek iş değerini nasıl sağlayacağız?”

Nvidia ve bir dizi önde gelen veri sağlayıcısı, NIM’lerin bu sorunun yanıtı olmasını umuyor. Vektör veritabanı yetenekleri RAG’yi etkinleştirmek için kritik öneme sahiptir ve NIM’leri destekleyen çok sayıda vektör veritabanı sağlayıcısı vardır. Bunlar arasında Apache Lucene, Datastax, Faiss, Kinetica, Milvus, Redis ve Weaviate yer alıyor.

RAG yaklaşımı aşağıdakilerin entegrasyonundan faydalanacaktır: NVIDIA NeMo Alıcı NIM dağıtımlarındaki mikro hizmetler. NeMo Retriever, Nvidia’nın Kasım 2023’te RAG’ı veri alımı için optimize edilmiş bir yaklaşımla etkinleştirmeye yardımcı olacak bir yaklaşım olarak duyurduğu bir teknolojidir.

Briski, “Hem hızlandırılmış hem de en yüksek kalitede veri kümeleri üzerinde eğitilmiş bir av köpeği eklediğinizde bu önemlidir” dedi.