Nvidia, Siggraph’ta simülasyon ve GenAI ilerlemelerini gösterecek

Nvidia render, simülasyon ve üretken yapay zeka alanında bir dizi ilerlemeyi sergiliyor İmza 2024.

Önde gelen bilgisayar grafikleri konferansı Siggraph, 28 Temmuz – 1 Ağustos tarihleri ​​arasında Denver, Colorado’da gerçekleşecek.

Ve bu yıl Nvidia Research’ün etkinlikte, yeni nesil modellerin eğitilmesine yardımcı olabilecek sentetik veri oluşturucuları ve ters işleme araçlarını geliştiren yenilikleri tanıtan 20’den fazla makalesi olacak.

Nvidia, yapay zeka araştırmasının, görüntü kalitesini artırarak ve gerçek veya hayali dünyaların 3 boyutlu temsillerini oluşturmanın yeni yollarını açarak simülasyonu daha iyi hale getirdiğini söyledi.

Makaleler, görsel üretken yapay zeka, fizik tabanlı simülasyon ve giderek daha gerçekçi hale gelen yapay zeka destekli görüntüleme için yayılma modellerine odaklanıyor. Onlar içerir iki teknik En İyi Makale Ödülü kazananlar ve ABD, Kanada, Çin, İsrail ve Japonya’daki üniversitelerin yanı sıra Adobe ve Roblox gibi şirketlerdeki araştırmacılarla işbirlikleri.

Bu girişimler, geliştiricilerin ve işletmelerin karmaşık sanal nesneler, karakterler ve ortamlar oluşturmasına yönelik yeni nesil araçlara yardımcı olacak. Sentetik veri üretimi daha sonra güçlü görsel hikayeler anlatmak, bilim adamlarının doğal olayları anlamalarına yardımcı olmak veya robotların ve otonom araçların simülasyona dayalı eğitimine yardımcı olmak için kullanılabilir.

Difüzyon modelleri doku boyamayı ve metinden görüntüye dönüştürmeyi geliştirir

Metin istemlerini görsellere dönüştürmek için popüler bir araç olan yayılma modelleri, sanatçıların, tasarımcıların ve diğer yaratıcıların hikaye taslakları veya prodüksiyon için hızla görseller oluşturmasına yardımcı olarak fikirleri hayata geçirmek için gereken süreyi azaltabilir.

Nvidia tarafından yazılan iki makale, bu üretken yapay zeka modellerinin yeteneklerini geliştiriyor. ConsiStoryNvidia ve Tel Aviv Üniversitesi’ndeki araştırmacıların ortak çalışması olan bu özellik, tutarlı bir ana karaktere sahip birden fazla görsel oluşturmayı kolaylaştırıyor; bu, çizgi roman çizimi veya storyboard geliştirme gibi hikaye anlatımı kullanım durumları için temel bir yetenek. Araştırmacıların yaklaşımı, konu odaklı ortak dikkat adı verilen ve tutarlı görüntüler oluşturmak için gereken süreyi 13 dakikadan yaklaşık 30 saniyeye indiren bir teknik sunuyor.

Nvidia araştırmacıları geçen yıl kazandı Gösterinin En İyisi Siggraph’ın Gerçek Zamanlı Canlı etkinliğinde, metin veya görüntü istemlerini özel dokulu materyallere dönüştüren yapay zeka modelleri için ödül. Bu yıl geçerli bir makale sunuyorlar 2 boyutlu üretken difüzyon modelleri 3 boyutlu ağlar üzerinde etkileşimli doku boyamaya geçiş, sanatçıların herhangi bir referans görüntüye dayalı karmaşık dokularla gerçek zamanlı olarak boyama yapmasına olanak tanır.

Fizik tabanlı simülasyonda çığır açan gelişmeler

Grafik araştırmacıları, fiziksel nesneler ile bunların sanal temsilleri arasındaki boşluğu, dijital nesnelerin ve karakterlerin gerçek dünyada olduğu gibi hareket etmesini sağlayan bir dizi teknik olan fizik tabanlı simülasyonla daraltıyor.

Pek çok Nvidia Araştırma makalesi, bu alandaki zorlukların üstesinden gelen bir proje olan SuperPADL de dahil olmak üzere, bu alanda atılımlar içeriyor. karmaşık insan hareketlerini simüle etmek metin istemlerine dayanmaktadır.

Araştırmacılar, takviyeli öğrenme ve denetimli öğrenmenin bir kombinasyonunu kullanarak, SuperPADL çerçevesinin 5.000’den fazla becerinin hareketini yeniden üretecek şekilde nasıl eğitilebileceğini ve tüketici sınıfı bir Nvidia GPU’da gerçek zamanlı olarak çalışabileceğini gösterdi.

Başka bir Nvidia makalesi şunları içeriyor: sinir fiziği yöntemi İster 3D ağ, ister NeRF olarak temsil edilsin, isterse metinden 3D’ye dönüştürme modeli tarafından oluşturulan katı bir nesne olarak temsil edilsin, nesnelerin bir ortamda hareket ettirilirken nasıl davranacağını öğrenmek için yapay zekayı uygulayan teknoloji.

Carnegie Mellon Üniversitesi araştırmacılarıyla birlikte yazılan bir makale, fiziksel ışığı modellemek yerine yeni bir tür oluşturucu geliştiriyor. termal analiz gerçekleştirin, elektrostatik ve akışkanlar mekaniği. SIGGRAPH’taki en iyi beş makaleden biri olarak adlandırılan yöntemin paralelleştirilmesi kolaydır ve zahmetli model temizliği gerektirmez, mühendislik tasarım döngülerini hızlandırmak için yeni fırsatlar sunar.

Ek simülasyon belgeleri, daha verimli bir teknik sunmaktadır. saç tellerine modellik yapmak ve bir hızlanan boru hattı Sıvı simülasyonunu 10 kat artırın.

Gerçekçilik, kırınım simülasyonu oluşturmada çıtayı yükseltiyoruz

Nvidia tarafından yazılan bir başka makale seti, görünür ışığı 25 kata kadar daha hızlı modellemek ve kırınım etkilerini (sürücüsüz arabaların eğitimi için radar simülasyonunda kullanılanlar gibi) 1000 kata kadar daha hızlı simüle etmek için yeni teknikler sunuyor.

Nvidia ve Waterloo Üniversitesi araştırmacıları tarafından hazırlanan bir makale, serbest uzay kırınımıIşığın nesnelerin kenarları boyunca yayıldığı veya büküldüğü optik bir olaydır. Ekibin yöntemi, karmaşık sahnelerde kırınım simülasyonunun verimliliğini artırmak için yol izleme iş akışlarıyla entegre olabiliyor ve 1000 kata kadar hızlanma sunuyor. Model, görünür ışık sağlamanın ötesinde, radarın, sesin veya radyo dalgalarının daha uzun dalga boylarını simüle etmek için de kullanılabilir.

Yol izleme fotogerçekçi bir resim oluşturmak için çok sayıda yolu (bir sahnede dolaşan çoklu seken ışık ışınları) örnekler. İki Siggraph belgesi, ilk olarak Nvidia ve Dartmouth College araştırmacıları tarafından Siggraph 2020’de tanıtılan ve oyunlara ve diğer gerçek zamanlı işleme ürünlerine yol izlemeyi getirmenin anahtarı olan bir yol izleme algoritması olan ReSTIR için örnekleme kalitesini artırıyor.

Utah Üniversitesi ile yapılan ortak bir çalışma olan bu makalelerden biri, hesaplanan yolları yeniden kullanmanın yeni bir yolunu paylaşıyor. 25 kata kadar etkili numune sayımıgörüntü kalitesini önemli ölçüde artırır. Diğeri numune kalitesini artırır ışığın yolunun bir alt kümesini rastgele değiştirerek. Bu, gürültü giderme algoritmalarının daha iyi performans göstermesine ve son işlemede daha az görsel yapaylık üretmesine yardımcı olur.

Yapay zekaya 3 boyutlu düşünmeyi öğretme

Nvidia araştırmacıları ayrıca Siggraph’ta 3D gösterimler ve tasarım için çok amaçlı yapay zeka araçlarını da sergiliyor.

Bir makale tanıtıyor fVDB, gerçek dünyanın ölçeğine uygun, 3 boyutlu derin öğrenmeye yönelik GPU için optimize edilmiş bir çerçeve. fVDB çerçevesi, şehir ölçeğindeki 3D modellerin geniş mekansal ölçeği ve yüksek çözünürlüğü için yapay zeka altyapısı sağlar ve NeRF’lerve büyük ölçekli nokta bulutlarının bölümlendirilmesi ve yeniden yapılandırılması.

Dartmouth College araştırmacılarıyla işbirliği içinde yazılan En İyi Teknik Makale ödülü sahibi, bir teoriyi tanıtıyor 3 boyutlu nesnelerin nasıl etkileşimde bulunduğunu temsil eden ışıkla. Teori, çeşitli görünümleri tek bir modelde birleştirir.

Tokyo Üniversitesi, Toronto Üniversitesi ve Adobe Research ile yapılan işbirliği ise şunları sağlayan bir algoritma sunuyor: düzgün, alanı dolduran eğriler oluşturur 3D ağlarda gerçek zamanlı olarak. Önceki yöntemler saatler sürerken, bu çerçeve saniyeler içinde çalışır ve kullanıcılara, etkileşimli tasarımı mümkün kılmak için çıktı üzerinde yüksek derecede kontrol sunar.

Nvidia Siggraph’ta

Nvidia’nın büyük bir başarısı olacak Siggraph’taki varlığıNvidia ile ocak başı sohbeti de dahil olmak üzere özel etkinliklerle CEO Jensen Huang ve Wired’ın kıdemli yazarı Lauren Goode, endüstriyel dijitalleşmede robotik ve yapay zekanın etkisi hakkında konuşuyor.

Nvidia araştırmacıları da sunum yapacak Nvidia’dan OpenUSD Günügeliştiricilerin ve sektör liderlerinin yapay zeka destekli 3D işlem hatları oluşturmak için OpenUSD’yi nasıl benimseyip geliştirdiklerini gösteren tam günlük bir etkinlik.

Nvidia Research’ün dünya çapında yüzlerce bilim insanı ve mühendisi var ve ekipleri yapay zeka, bilgisayar grafikleri, bilgisayarlı görme, sürücüsüz arabalar ve robot bilimi gibi konulara odaklanıyor.