OpenAI’nin en yeni modeli videolar üretebiliyor ve iyi görünüyorlar

Runway gibi startup’ların ve Google ve Meta gibi teknoloji devlerinin izinden giden OpenAI, video üretimine giriyor.

OpenAI bugün, metinden video oluşturan bir GenAI modeli olan Sora’yı tanıttı. OpenAI, kısa veya ayrıntılı bir açıklama veya sabit bir görüntü verildiğinde Sora’nın birden fazla karakter, farklı hareket türleri ve arka plan ayrıntıları içeren 1080p film benzeri sahneler oluşturabileceğini iddia ediyor.

Sora ayrıca mevcut video klipleri “genişletebilir”; eksik ayrıntıları doldurmak için elinden geleni yapar.

OpenAI bir blog yazısında şöyle yazıyor: “Sora’nın derin bir dil anlayışı var, bu da onun istemleri doğru bir şekilde yorumlamasına ve canlı duyguları ifade eden ilgi çekici karakterler oluşturmasına olanak tanıyor.” “Model, yalnızca kullanıcının istemde ne istediğini değil, aynı zamanda bu şeylerin fiziksel dünyada nasıl var olduğunu da anlıyor.”

Şimdi, OpenAI’nin Sora demo sayfasında pek çok abartılı ifade var; yukarıdaki ifade bir örnektir. Ancak modelden özenle seçilmiş örnekler Yapmak en azından gördüğümüz diğer metinden videoya teknolojilerle karşılaştırıldığında oldukça etkileyici görünüyor.

Yeni başlayanlar için Sora, bir dakikaya kadar çeşitli stillerde (örn. fotogerçekçi, animasyonlu, siyah beyaz vb.) videolar oluşturabilir; bu, çoğu metinden videoya modelden çok daha uzun bir süre. Ve bu videolar, nesnelerin fiziksel olarak imkansız yönlerde hareket etmesi gibi benim “AI tuhaflığı” olarak adlandırmayı sevdiğim şeye her zaman yenik düşmemeleri anlamında makul bir tutarlılığı koruyor.

Tamamı Sora tarafından oluşturulan bu sanat galerisi turuna bir göz atın (noktalanmayı göz ardı edin – video-GIF dönüştürme aracımdan sıkıştırma):

Veya çiçek açan bir çiçeğin animasyonu:

Sora’nın insansı konuları içeren bazı videolarının (örneğin şehir manzarasının önünde duran bir robot veya karlı bir yolda yürüyen bir kişi) video oyunu kalitesinde olduğunu söyleyebilirim, belki de pek bir şey olmadığından. arka planda. Yapay zeka tuhaflığı, arabaların bir yöne gidip aniden geri dönmesi veya kolların yorgan kılıfına erimesi gibi pek çok klibe de sızmayı başarıyor.

OpenAI – tüm üstünlüklerine rağmen – modelin mükemmel olmadığını kabul ediyor. Şöyle yazıyor:

“[Sora] karmaşık bir sahnenin fiziğini doğru bir şekilde simüle etmekte zorlanabilir ve belirli neden ve sonuç örneklerini anlayamayabilir. Örneğin, bir kişi bir kurabiyeden bir ısırık alabilir ancak sonrasında kurabiyede herhangi bir ısırık izi kalmayabilir. Model aynı zamanda bir istemin uzamsal ayrıntılarını da karıştırabilir (örneğin, sol ve sağın karıştırılması gibi) ve belirli bir kamera yörüngesini takip etmek gibi zaman içinde meydana gelen olayların kesin açıklamalarında zorluk yaşayabilir.”

OpenAI, Sora’yı bir araştırma ön izlemesi olarak konumlandırıyor, modeli eğitmek için hangi verilerin kullanıldığı hakkında çok az bilgi veriyor (yaklaşık 10.000 saatlik “yüksek kaliteli” video) ve Sora’yı genel kullanıma sunmaktan kaçınıyor. Gerekçesi istismar potansiyelidir; OpenAI, kötü aktörlerin Sora gibi bir modeli sayısız şekilde kötüye kullanabileceğini doğru bir şekilde belirtiyor.

OpenAI, bir videonun Sora tarafından oluşturulup oluşturulmadığını tespit etmek için modeli istismarlara yönelik olarak incelemek ve araçlar oluşturmak üzere uzmanlarla birlikte çalıştığını söylüyor. Şirket ayrıca, modeli halka açık bir üründe oluşturmayı seçmesi durumunda, oluşturulan çıktılara kaynak meta verilerinin dahil edilmesini sağlayacağını da söylüyor.

OpenAI, “Endişelerini anlamak ve bu yeni teknolojinin olumlu kullanım örneklerini belirlemek için dünyanın dört bir yanındaki politika yapıcılar, eğitimciler ve sanatçılarla etkileşime geçeceğiz” diye yazıyor. “Kapsamlı araştırma ve testlere rağmen, insanların teknolojimizi kullanacakları tüm yararlı yolları veya onu kötüye kullanacakları tüm yolları tahmin edemiyoruz. Bu nedenle, gerçek dünyadaki kullanımdan öğrenmenin, zaman içinde giderek daha güvenli hale gelen yapay zeka sistemleri oluşturmanın ve piyasaya sürmenin kritik bir bileşeni olduğuna inanıyoruz.”