Anthropic, yeni ekibin başına geçmesi için eski OpenAI güvenlik liderini işe aldı

Şirketin yapay zeka güvenliğine yaklaşımını kamuya açık bir şekilde eleştirmeden önce bu ayın başında OpenAI’den istifa eden önde gelen yapay zeka araştırmacısı Jan Leike, yeni bir “süper hizalama” ekibine liderlik etmek için OpenAI rakibi Anthropic’e katıldı.

X ile ilgili bir gönderide Leike, Anthropic’teki ekibinin yapay zeka güvenliğinin çeşitli yönlerine, özellikle “ölçeklenebilir gözetim”, “zayıftan güçlüye genelleme” ve otomatik hizalama araştırmasına odaklanacağını söyledi.

Katılacağım için heyecanlıyım @AntropikAI süper hizalama görevine devam etmek için!

Yeni ekibim ölçeklenebilir gözetim, zayıftan güçlüye genelleme ve otomatik hizalama araştırması üzerinde çalışacak.

Katılmak isterseniz dm’im açık.

— Jan Leike (@janleike) 28 Mayıs 2024

Konuya aşina bir kaynak TechCrunch’a, Leike’nin doğrudan Anthropic’in baş bilim sorumlusu Jared Kaplan’a rapor vereceğini ve şu anda ölçeklenebilir gözetim (büyük ölçekli yapay zekanın davranışını öngörülebilir ve arzu edilen şekillerde kontrol etme teknikleri) üzerinde çalışan Antropik araştırmacıların rapor vermeye geçeceğini söyledi. Leike’nin takımı dönerken Leike’ye.

✨🪩 Vay! 🪩✨

Jan, teknik yapay zeka güvenliği konusunda ufuk açıcı bazı önemli çalışmalara öncülük etti ve onunla çalışmaktan heyecan duyuyorum! Yapay zeka sistemlerini insan düzeyinde ve ötesinde hizalama sorununun farklı kısımlarını hedefleyen ikiz ekiplere liderlik edeceğiz. https://t.co/aqSFTnOEG0

— Sam Bowman (@sleepinyourhat) 28 Mayıs 2024

Leike’nin ekibi birçok açıdan misyon açısından OpenAI’nin yakın zamanda dağılan Superalignment ekibine benziyor. Leike’nin de liderliğini yaptığı Superalignment ekibi, önümüzdeki dört yıl içinde süper akıllı yapay zekayı kontrol etmenin temel teknik zorluklarını çözmek gibi iddialı bir hedefe sahipti, ancak çoğu zaman kendisini OpenAI’nin liderliği tarafından engellenmiş halde buldu.

Antropik sıklıkla kendisini OpenAI’den daha fazla güvenlik odaklı olarak konumlandırmaya çalıştı.

Anthropic’in CEO’su Dario Amodei, bir zamanlar OpenAI’de araştırma başkan yardımcısıydı ve bildirildiğine göre şirketin yönü (yani OpenAI’nin büyüyen ticari odağı) konusundaki bir anlaşmazlığın ardından OpenAI’den ayrıldı. Amodei, Anthropic’i kurmak için yanında OpenAI’nin eski politika lideri Jack Clark da dahil olmak üzere bir dizi eski OpenAI çalışanını getirdi.