Kaynak, OpenAI’nin “süper zeki” yapay zekayı kontrol etmek için bir ekip oluşturduğunu, sonra da onun yok olmasına izin verildiğini söylüyor

OpenAI’nin “süper akıllı” yapay zeka sistemlerini yönetme ve yönlendirmenin yollarını geliştirmekten sorumlu olan Superalignment ekibine, ekipten bir kişiye göre şirketin bilgi işlem kaynaklarının %20’si için söz verildi. Ancak bu hesaplamanın bir kısmına yönelik talepler sıklıkla reddedildi ve ekibin işini yapması engellendi.

Bu sorun, diğerlerinin yanı sıra, OpenAI’deyken ChatGPT, GPT-4 ve ChatGPT’nin öncülü InstructGPT’nin geliştirilmesinde yer alan eski DeepMind araştırmacısı eşbaşkan Jan Leike de dahil olmak üzere birkaç ekip üyesini bu hafta istifaya itti.

Leike, Cuma sabahı istifasının bazı nedenlerini kamuoyuna açıkladı. Leike, X’teki bir dizi gönderisinde şöyle yazdı: “Sonunda bir kırılma noktasına ulaşana kadar, şirketin temel öncelikleri konusunda OpenAI liderliğiyle uzun süredir aynı fikirde değildim.” gelecek nesil modeller için güvenlik, izleme, hazırlıklı olma, güvenlik, rakiplere karşı sağlamlık, (süper) uyum, gizlilik, toplumsal etki ve ilgili konular hakkında. Bu sorunları düzeltmek oldukça zor ve oraya ulaşacak bir yolda olmadığımızdan endişeleniyorum.”

OpenAI, söz konusu ekibe söz verilen ve tahsis edilen kaynaklar hakkında yorum talebine hemen geri dönüş yapmadı.

OpenAI, geçen Temmuz ayında Superalignment ekibini kurdu ve bu ekibin liderliğini yine bu hafta şirketten istifa eden Leike ve OpenAI kurucu ortağı Ilya Sutskever yaptı. Önümüzdeki dört yıl içinde süper akıllı yapay zekayı kontrol etmenin temel teknik zorluklarını çözmek gibi iddialı bir hedefi vardı. OpenAI’nin önceki hizalama bölümünden bilim insanları ve mühendislerin yanı sıra şirket genelindeki diğer kuruluşlardan araştırmacıların da katıldığı ekip, hem şirket içi hem de OpenAI olmayan modellerin güvenliğini bildiren araştırmalara ve bir araştırma hibe programı da dahil olmak üzere girişimler yoluyla katkıda bulunacaktı. , daha geniş AI endüstrisinden iş talep edin ve onlarla iş paylaşın.

Superalignment ekibi bir güvenlik araştırması bütünü yayınlamayı ve dışarıdaki araştırmacılara milyonlarca dolarlık bağış aktarmayı başardı. Ancak ürün lansmanları OpenAI liderliğinin bant genişliğini giderek daha fazla kullanmaya başladıkça, Superalignment ekibi kendisini daha fazla ön yatırım için mücadele etmek zorunda buldu; şirketin tüm insanlığın yararına süper akıllı yapay zeka geliştirme misyonu açısından kritik olduğuna inandığı yatırımlar .

Leike, “İnsandan daha akıllı makineler üretmek doğası gereği tehlikeli bir çabadır” diye devam etti. “Fakat geçtiğimiz yıllarda güvenlik kültürü ve süreçleri parlak ürünlerin gerisinde kaldı.”

Sutskever’in OpenAI CEO’su Sam Altman’la olan mücadelesi, dikkati dağıtan önemli bir unsur oldu.

Sutskever, OpenAI’nin eski yönetim kuruluyla birlikte, Altman’ın yönetim kurulu üyelerine karşı “sürekli olarak samimi” davranmadığına dair endişeler nedeniyle geçen yılın sonlarında Altman’ı aniden kovmak için harekete geçti. Microsoft da dahil olmak üzere OpenAI yatırımcılarının ve şirketin kendi çalışanlarının çoğunun baskısı altında, Altman sonunda yeniden göreve getirildi, yönetim kurulunun büyük bir kısmı istifa etti ve Sutskever’in bir daha asla işe dönmediği bildirildi.

Kaynağa göre Sutskever, Superalignment ekibi için önemli bir rol oynadı; yalnızca araştırmaya katkıda bulunmakla kalmadı, aynı zamanda OpenAI içindeki diğer bölümlere köprü görevi gördü. Aynı zamanda bir nevi elçi olarak da görev yapacak ve ekibin çalışmalarının OpenAI karar alıcıları üzerindeki önemini vurgulayacaktı.

Leike’nin ayrılmasının ardından Altman, X’te “yapılacak daha çok şey olduğunu” kabul ettiğini ve “bunu yapmaya kararlı olduklarını” yazdı. Kurucu ortak Greg Brockman’ın Cumartesi sabahı sunduğu daha uzun bir açıklamanın ipucunu verdi:

Brockman’ın cevabında politikalar veya taahhütler konusunda çok az somut bilgi olmasına rağmen, şunları söyledi: “Çok sıkı bir geri bildirim döngüsüne, sıkı testlere, her adımda dikkatli değerlendirmeye, birinci sınıf güvenliğe ve güvenlik ile yeteneklerin uyumuna ihtiyacımız var. ”

Leike ve Sutskever’in ayrılmasının ardından, bir başka OpenAI kurucu ortağı John Schulman, Superalignment ekibinin yapmakta olduğu işin başına geçti, ancak artık özel bir ekip olmayacak, bunun yerine gevşek bir şekilde ilişkili bir ekip olacak. Şirket genelindeki bölümlere yerleştirilmiş bir grup araştırmacı. Bir OpenAI sözcüsü bunu “entegre etme” olarak tanımladı. [the team] daha derinden.”

Sonuç olarak OpenAI’nin yapay zeka gelişiminin olması gerektiği kadar güvenlik odaklı olmayacağından korkuluyor.

Bir AI bülteni başlatıyoruz! Üye olmak Burada 5 Haziran’da gelen kutularınıza almaya başlamak için.