Nvidia, optimize edilmiş çıkarımlar için bir dizi mikro hizmet başlattı

Nvidia bugün GTC konferansında, özel ve önceden eğitilmiş yapay zeka modellerinin üretim ortamlarına dağıtımını kolaylaştırmak için tasarlanmış yeni bir yazılım platformu olan Nvidia NIM’i duyurdu. NIM, Nvidia’nın modelleri çıkarımlama ve optimize etme konusunda yaptığı yazılım çalışmasını alır ve belirli bir modeli optimize edilmiş bir çıkarım motoruyla birleştirerek ve ardından bunu bir konteynere paketleyerek bunu bir mikro hizmet olarak erişilebilir hale getirerek kolayca erişilebilir hale getirir.

Nvidia, geliştiricilerin benzer konteynerleri göndermesinin genellikle haftalar (aylar olmasa da) alacağını savunuyor ve eğer şirketin kendi bünyesinde yapay zeka yeteneği varsa bu da mümkün. NIM ile Nvidia, yapay zeka yol haritasını hızlandırmak isteyen şirketler için temel yazılım katmanı olarak bu seçilmiş mikro hizmetler ile donanımını temel katman olarak kullanan, yapay zekaya hazır konteynerlerden oluşan bir ekosistem oluşturmayı açıkça hedefliyor.

NIM şu anda NVIDIA, A121, Adept, Cohere, Getty Images ve Shutterstock modellerinin yanı sıra Google, Hugging Face, Meta, Microsoft, Mistral AI ve Stability AI açık modelleri için de destek içermektedir. Nvidia, bu NIM mikro hizmetlerini sırasıyla SageMaker, Kubernetes Engine ve Azure AI üzerinde kullanılabilir hale getirmek için halihazırda Amazon, Google ve Microsoft ile çalışıyor. Ayrıca Deepset, LangChain ve LlamaIndex gibi çerçevelere de entegre edilecekler.

“Nvidia GPU’nun bu modellerin çıkarımını yapmak için en iyi yer olduğuna inanıyoruz […]ve NVIDIA NIM’in, geliştiricilerin kurumsal uygulamalara odaklanabilmeleri için üzerine inşa edebilecekleri en iyi yazılım paketi, en iyi çalışma zamanı olduğuna inanıyoruz ve bırakın Nvidia, bu modelleri onlar için en iyi şekilde üretme işini yapsın. Nvidia’nın kurumsal bilgi işlem başkanı Manuvir Das, bugünkü duyurular öncesinde düzenlediği basın toplantısında şöyle konuştu: “Verimli, kurumsal düzeyde bir yaklaşımla işlerinin geri kalanını yapabilsinler.”

Çıkarım motoruna gelince, Nvidia Triton Çıkarım Sunucusu, TensorRT ve TensorRT-LLM’yi kullanacak. NIM aracılığıyla sunulan Nvidia mikro hizmetlerinden bazıları, konuşma ve çeviri modellerini özelleştirmek için Riva’yı, yönlendirme optimizasyonları için cuOpt’u ve hava ve iklim simülasyonları için Earth-2 modelini içerecektir.

Şirket zaman içinde ek yetenekler eklemeyi planlıyor; örneğin Nvidia RAG LLM operatörünü NIM olarak kullanılabilir hale getirmek, bu da özel verilerle çalışabilen üretken yapay zeka sohbet robotları oluşturmayı çok daha kolay hale getirmeyi vaat ediyor.

Birkaç müşteri ve iş ortağı duyurusu olmadan bu bir geliştirici konferansı olmazdı. NIM’in mevcut kullanıcıları arasında Box, Cloudera, Cohesity, Datastax, Dropbox gibi firmalar yer alıyor
ve NetApp.

NVIDIA’nın kurucusu ve CEO’su Jensen Huang, “Oldukça kurumsal platformlar, üretken yapay zeka yardımcı pilotlarına dönüştürülebilecek bir altın madeninin üzerinde duruyor” dedi. “İş ortağı ekosistemimizle oluşturulan bu konteynerli yapay zeka mikro hizmetleri, her sektördeki işletmelerin yapay zeka şirketlerine dönüşmesi için yapı taşlarıdır.”