Şirketin yapay zeka güvenliğine yaklaşımını kamuya açık bir şekilde eleştirmeden önce bu ayın başında OpenAI’den istifa eden önde gelen yapay zeka araştırmacısı Jan Leike, yeni bir “süper hizalama” ekibine liderlik etmek için OpenAI rakibi Anthropic’e katıldı.
X ile ilgili bir gönderide Leike, Anthropic’teki ekibinin yapay zeka güvenliğinin çeşitli yönlerine, özellikle “ölçeklenebilir gözetim”, “zayıftan güçlüye genelleme” ve otomatik hizalama araştırmasına odaklanacağını söyledi.
Konuya aşina bir kaynak TechCrunch’a, Leike’nin doğrudan Anthropic’in baş bilim sorumlusu Jared Kaplan’a rapor vereceğini ve şu anda ölçeklenebilir gözetim (büyük ölçekli yapay zekanın davranışını öngörülebilir ve arzu edilen şekillerde kontrol etme teknikleri) üzerinde çalışan Antropik araştırmacıların rapor vermeye geçeceğini söyledi. Leike’nin takımı dönerken Leike’ye.
Leike’nin ekibi birçok açıdan misyon açısından OpenAI’nin yakın zamanda dağılan Superalignment ekibine benziyor. Leike’nin de liderliğini yaptığı Superalignment ekibi, önümüzdeki dört yıl içinde süper akıllı yapay zekayı kontrol etmenin temel teknik zorluklarını çözmek gibi iddialı bir hedefe sahipti, ancak çoğu zaman kendisini OpenAI’nin liderliği tarafından engellenmiş halde buldu.
Antropik sıklıkla kendisini OpenAI’den daha fazla güvenlik odaklı olarak konumlandırmaya çalıştı.
Anthropic’in CEO’su Dario Amodei, bir zamanlar OpenAI’de araştırma başkan yardımcısıydı ve bildirildiğine göre şirketin yönü (yani OpenAI’nin büyüyen ticari odağı) konusundaki bir anlaşmazlığın ardından OpenAI’den ayrıldı. Amodei, Anthropic’i kurmak için yanında OpenAI’nin eski politika lideri Jack Clark da dahil olmak üzere bir dizi eski OpenAI çalışanını getirdi.
Kaynak: https://techcrunch.com/2024/05/28/anthropic-hires-former-openai-safety-lead-to-head-up-new-team/