Nvidia, yapay zeka ve simülasyon araçlarıyla robot öğrenimini ve insansı gelişimi geliştiriyor

Nvidia, robot öğrenimini ve insansı gelişimi geliştirecek yeni yapay zeka ve simülasyon araçlarını tanıttı.

Değerleme açısından dünyanın en büyük teknoloji şirketi (3.432 trilyon dolar değerinde), bu hafta Almanya’nın Münih kentinde düzenlenen Robot Öğrenim Konferansı’nda (CoRL) açıklanan araçlarla, araçların robot geliştiricilerinin yapay zeka destekli robotlar üzerindeki çalışmalarını büyük ölçüde hızlandırmalarını sağlayacağını söyledi.

Diziliş, Nvidia Isaac Lab robot öğrenme çerçevesinin genel kullanılabilirliğini içerir; insansı robot gelişimini hızlandırmaya yönelik bir girişim olan Project GR00T için altı yeni insansı robot öğrenme iş akışı; ve video veri iyileştirme ve işleme için Nvidia Cosmos tokenizer ve video işleme için Nvidia NeMo Curator dahil olmak üzere yeni dünya modeli geliştirme araçları.

Açık kaynaklı Cosmos tokenizer, görselleri ve videoları olağanüstü yüksek sıkıştırma oranlarına sahip yüksek kaliteli tokenlara bölerek robotik geliştiricilerine üstün görsel tokenizasyon sağlar. Mevcut tokenlaştırıcılardan 12 kata kadar daha hızlı çalışırken NeMo Curator, optimize edilmemiş işlem hatlarından yedi kata kadar daha hızlı video işleme kürasyonu sağlar.

Nvidia, CoRL ile aynı zamanda 23 makale yayınladı ve robot öğrenimiyle ilgili dokuz atölye çalışması sundu ve ayrıca geliştiriciler için eğitim ve iş akışı kılavuzları yayınladı. Ayrıca Hugging Face ve Nvidia, geliştirici topluluğu için LeRobot, Nvidia Isaac Lab ve Nvidia Jetson ile açık kaynaklı robotik araştırmalarını hızlandırmak için işbirliği yapacaklarını duyurdu.

Isaac Lab ile robot geliştirmeyi hızlandırma

Nvidia Isaac Lab, endüstriyel dijitalleştirme ve fiziksel yapay zeka simülasyonu için OpenUSD uygulamaları geliştirmeye yönelik bir platform olan Nvidia Omniverse üzerine kurulu açık kaynaklı bir robot öğrenme çerçevesidir.

Geliştiriciler, robot politikalarını geniş ölçekte eğitmek için Isaac Lab’ı kullanabilir. Bu açık kaynaklı birleşik robot öğrenme çerçevesi, giderek daha karmaşık hale gelen hareketleri ve etkileşimleri yönetmek için insansı robotlardan dört ayaklı ve işbirlikçi robotlara kadar her türlü uygulama için geçerlidir.

Dünyanın dört bir yanındaki önde gelen ticari robot üreticileri, robotik uygulama geliştiricileri ve robotik araştırma kuruluşları, 1X, Agility Robotics, The AI ​​Institute, Berkeley Humanoid, Boston Dynamics, Field AI, Fourier, Galbot, Mentee Robotics, Skild AI dahil olmak üzere Isaac Lab’ı benimsiyor. Swiss-Mile, Unitree Robotics ve Xpeng Robotics.

GR00T Projesi: Genel amaçlı insansı robotların temelleri

İnsansılar geliyor. Gelişmiş insansılar inşa etmek son derece zordur ve çok katmanlı olmayı gerektirir
İnsan-robot ve robot-çevre etkileşimlerinde robotların etkili bir şekilde algılamasını, hareket etmesini ve becerilerini öğrenmesini sağlayacak teknolojik ve disiplinler arası yaklaşımlar.

Project GR00T, küresel insansı robot geliştirici ekosistemini hızlandırmak için hızlandırılmış kütüphaneler, temel modeller ve veri hatları geliştirmeye yönelik bir girişimdir.

Altı yeni Project GR00T iş akışı, insansı geliştiricilere en zorlu insansı robot yeteneklerini gerçekleştirmeye yönelik planlar sağlıyor. Üretken yapay zeka destekli, OpenUSD tabanlı 3D ortamlar ve daha fazlasını oluşturmak için GR00T-Gen gibi şeyleri içerirler.

Nvidia’nın somutlaştırılmış yapay zeka kıdemli araştırma müdürü Jim Fan, yaptığı açıklamada “İnsansı robotlar, somutlaştırılmış yapay zekanın bir sonraki dalgasıdır” dedi. “Nvidia araştırma ve mühendislik ekipleri, küresel insansı robot geliştiricilerinin ilerlemesini ve gelişimini ilerletmeye yardımcı olmak amacıyla GR00T Projesi’ni oluşturmak için şirket genelinde ve geliştirici ekosistemimizde işbirliği yapıyor.”

Günümüzde robot geliştiricileri, nesnelerin ve ortamların bir robotun eylemlerine nasıl tepki vereceğini tahmin edebilen, dünyanın yapay zeka temsilleri olan dünya modelleri inşa ediyor. Bu dünya modellerini oluşturmak, binlerce saatlik gerçek dünya, seçilmiş görüntü veya video verileri gerektiren modellerle inanılmaz derecede bilgi işlem ve veri yoğunluğu gerektirir.

Nvidia Cosmos belirteçleri, bu dünya modellerinin gelişimini basitleştirmek için verimli, yüksek kaliteli kodlama ve kod çözme sağlar. Minimum bozulma ve zamansal istikrarsızlık konusunda yeni bir standart belirleyerek yüksek kaliteli video ve görüntü yeniden yapılandırmalarına olanak tanır.

Yüksek kaliteli sıkıştırma ve 12 kata kadar daha hızlı görsel yeniden yapılandırma sağlayan Cosmos tokenizer, geniş bir görsel alan yelpazesinde üretken uygulamaların ölçeklenebilir, sağlam ve verimli şekilde geliştirilmesinin yolunu açıyor.

İnsansı bir robot şirketi olan 1X, Cosmos tokenizer’ı kullanmak için 1X World Model Challenge veri kümesini güncelledi.

1X Technologies Yapay Zekadan Sorumlu Başkan Yardımcısı Eric Jang, yaptığı açıklamada, “Nvidia Cosmos tokenizer, görsel doğruluğu korurken verilerimizin gerçekten yüksek zamansal ve mekansal sıkıştırmasını sağlıyor” dedi. “Bu, dünya modellerini uzun vadeli video üretimiyle çok daha verimli bir şekilde eğitmemize olanak tanıyor.”

Xpeng Robotics ve Hillbot gibi diğer insansı ve genel amaçlı robot geliştiricileri, yüksek çözünürlüklü görüntüleri ve videoları yönetmek için Nvidia Cosmos tokenizer ile geliştirme yapıyor.

NeMo Küratörü

NeMo Curator artık bir video işleme hattı içeriyor. Bu, robot geliştiricilerin büyük ölçekli metin, görüntü ve video verilerini işlerken dünya modeli doğruluğunu geliştirmelerine olanak tanır.

Video verilerinin işlenmesi, büyük boyutları nedeniyle zorluklara neden olur; ölçeklenebilir işlem hatları ve GPU’lar arasında yük dengeleme için verimli düzenleme gerektirir. Ayrıca filtreleme, altyazı ekleme ve yerleştirme modellerinin verimi en üst düzeye çıkarmak için optimizasyona ihtiyacı vardır.

NeMo Curator, otomatik işlem hattı orkestrasyonu ile veri iyileştirmeyi kolaylaştırarak ve işlem süresini önemli ölçüde azaltarak bu zorlukların üstesinden gelir. Çok düğümlü, çok GPU’lu sistemlerde doğrusal ölçeklendirmeyi destekler ve 100 petabayttan fazla veriyi verimli bir şekilde işler. Bu, yapay zeka geliştirmeyi basitleştirir, maliyetleri azaltır ve pazara sunma süresini hızlandırır.

Kullanılabilirlik

Nvidia Isaac Lab 1.2 şu anda mevcuttur ve GitHub’da açık kaynaktır. Nvidia Cosmos tokenizer artık GitHub ve Hugging Face’te mevcut. Video işlemeye yönelik NeMo Curator ay sonunda kullanıma sunulacak.

Yeni Nvidia Project GR00T iş akışları, robot şirketlerinin insansı robot yeteneklerini daha kolay geliştirmelerine yardımcı olmak için yakında kullanıma sunulacak.

Isaac Lab’i kullanmayı öğrenen araştırmacılar ve geliştiriciler için, Isaac Gym’den Isaac Lab’e geçiş kılavuzu da dahil olmak üzere yeni başlangıç ​​geliştirici kılavuzları ve eğitimleri artık mevcut.