OpenAI’nin yeni güvenlik komitesi tüm içeriden oluşuyor

Yapay zeka güvenliğine yaklaşımına yönelik eleştirilerin ışığında OpenAI, şirketin projeleri ve operasyonlarıyla ilgili “kritik” emniyet ve güvenlik kararlarını denetlemek için yeni bir komite kurdu. Ancak etikçilerin öfkesini artıracağı kesin olan bir hareketle OpenAI, komiteye dışarıdan gözlemciler yerine şirket içinden (OpenAI CEO’su Sam Altman da dahil olmak üzere) kişilerden oluşan personel atamayı seçti.

Altman ve Emniyet ve Güvenlik Komitesinin geri kalanı – OpenAI yönetim kurulu üyeleri Bret Taylor, Adam D’Angelo ve Nicole Seligman’ın yanı sıra baş bilim insanı Jakub Pachocki, Aleksander Madry (OpenAI’nin “hazırlık” ekibine liderlik ediyor), Lilian Weng (güvenlik başkanı) Şirketin resmi blogunda yer alan bir gönderiye göre, Matt Knight (güvenlik başkanı) ve John Schulman (“hizalama bilimi” başkanı) önümüzdeki 90 gün boyunca OpenAI süreçlerini ve korumalarını değerlendirmekten sorumlu olacak. Komite daha sonra bulgularını ve önerilerini incelenmek üzere OpenAI yönetim kurulunun tamamıyla paylaşacak ve bu noktada kabul edilen önerilere ilişkin “güvenlik ve güvenlikle tutarlı bir şekilde” bir güncelleme yayınlayacak.

“OpenAI kısa süre önce bir sonraki öncü modelini eğitmeye başladı ve ortaya çıkan sistemlerin bizi yolumuzda bir sonraki yetenek düzeyine taşıyacağını öngörüyoruz. [artificial general intelligence,]OpenAI yazıyor. “Hem yetenekler hem de güvenlik açısından sektör lideri modeller oluşturup piyasaya sürmekten gurur duysak da, bu önemli anda güçlü bir tartışmayı memnuniyetle karşılıyoruz.”

OpenAI, son birkaç ayda teknik ekibinin güvenlik tarafında çok sayıda yüksek profilli ayrılmaya tanık oldu ve bu eski çalışanlardan bazıları, yapay zeka güvenliğinin kasıtlı olarak önceliksizleştirilmesi olarak gördükleri durumla ilgili endişelerini dile getirdi.

OpenAI’nin yönetim ekibinde çalışan Daniel Kokotajlo, kişisel blogundaki bir gönderide yazdığı gibi, giderek daha yetenekli hale gelen yapay zekanın piyasaya sürülmesi konusunda OpenAI’nin “sorumlu bir şekilde davranacağına” olan güvenini kaybettikten sonra Nisan ayında istifa etti. OpenAI kurucu ortağı ve şirketin eski baş bilim insanı Ilya Sutskever, Altman ve Altman’ın müttefikleriyle uzun süren bir savaşın ardından Mayıs ayında ayrıldı; bildirildiğine göre kısmen Altman’ın güvenlik çalışmaları pahasına yapay zeka destekli ürünleri piyasaya sürme telaşı yüzünden.

Yakın zamanda, OpenAI’deyken ChatGPT ve ChatGPT’nin selefi InstructGPT’nin geliştirilmesinde yer alan eski DeepMind araştırmacısı Jan Leike, X’teki bir dizi gönderisinde OpenAI’nin “olmadığına” inandığını söyleyerek güvenlik araştırması görevinden istifa etti. Yapay zeka güvenliği ve emniyeti ile ilgili sorunları “doğru” hale getirmek için “yolda”. Geçen hafta OpenAI’den ayrılan yapay zeka politikası araştırmacısı Gretchen Krueger, Leike’nin açıklamalarını yineleyerek şirkete hesap verebilirliğini ve şeffaflığını artırması ve “şirkete gösterdiği özeni” artırması çağrısında bulundu. [it uses its] kendi teknolojisi.”

Quartz, Sutskever, Kokotajlo, Leike ve Krueger’in yanı sıra, eski OpenAI yönetim kurulu üyeleri Helen Toner ve Tasha McCauley de dahil olmak üzere OpenAI’nin güvenlik konusunda en bilinçli çalışanlarından en az beşinin geçen yılın sonlarından bu yana ya istifa ettiğini ya da ihraç edildiğini belirtiyor. The Economist’te Pazar günü yayınlanan bir köşe yazısında Toner ve McCauley, Altman’ın liderliğinde OpenAI’nin kendisini sorumlu tutma konusunda güvenilebileceğine inanmadıklarını yazdı.

“[B]Deneyimlerimize dayanarak öz yönetimin kar teşviklerinin baskısına güvenilir bir şekilde dayanamayacağına inanıyoruz” dedi Toner ve McCauley.

Toner ve McCauley’in belirttiği gibi, TechCrunch bu ayın başlarında “süper akıllı” yapay zeka sistemlerini yönetmek ve yönlendirmek için yollar geliştirmekten sorumlu olan OpenAI Superalignment ekibine şirketin bilgi işlem kaynaklarının %20’si için söz verildiğini ancak nadiren bunun bir kısmını aldığını bildirmişti. Superalignment ekibi o zamandan beri feshedildi ve çalışmalarının çoğu Schulman’ın ve Aralık ayında oluşturulan bir güvenlik danışma grubu OpenAI’nin yetki alanına verildi.

OpenAI, AI düzenlemesini savundu. Aynı zamanda, şirket içi lobicileri ve giderek artan sayıda hukuk firmasında lobicileri işe alarak ve yalnızca 2023’ün 4. çeyreğinde ABD lobi faaliyetlerine yüz binlerce dolar harcayarak bu düzenlemeyi şekillendirmek için çaba gösterdi. Geçtiğimiz günlerde ABD İç Güvenlik Bakanlığı, Altman’ın, ABD’nin kritik altyapılarında “yapay zekanın güvenli ve emniyetli bir şekilde geliştirilmesi ve konuşlandırılması” için tavsiyeler sunacak olan yeni oluşturulan Yapay Zeka Güvenlik ve Güvenlik Kurulu’nun üyeleri arasında olacağını duyurdu.

OpenAI, yöneticilerin hakimiyetindeki Güvenlik ve Güvenlik Komitesinde etik açıdan yaprak dökümü görünümünü önlemek amacıyla, aralarında siber güvenlik alanında deneyimli Rob Joyce ve’nin de bulunduğu üçüncü taraf “emniyet, emniyet ve teknik” uzmanlarını komitenin çalışmalarını desteklemek üzere tutma sözü verdi. eski ABD Adalet Bakanlığı yetkilisi John Carlin. Bununla birlikte, Joyce ve Carlin dışında şirket, bu dış uzman grubunun boyutu veya yapısı hakkında ayrıntılı bilgi vermediği gibi, grubun komite üzerindeki gücünün ve nüfuzunun sınırlarına da ışık tutmadı.

Bloomberg köşe yazarı Parmy Olson, X hakkındaki bir gönderide, Güvenlik ve Güvenlik Komitesi gibi kurumsal denetim kurullarının, Google’ın Gelişmiş Teknoloji Dış Danışma Konseyi gibi yapay zeka denetim kurullarına benzer olduğunu belirtiyor: “[do] fiili gözetimin önünde neredeyse hiçbir şey yok.” Açık bir şekilde OpenAI, çalışmalarına yönelik “geçerli eleştirilere” komite aracılığıyla yanıt vermek istediğini söylüyor – “geçerli eleştiriler” elbette bakanın gözünde.

Altman bir keresinde dışarıdan gelenlerin OpenAI’nin yönetiminde önemli bir rol oynayacağına söz vermişti. 2016 yılında New Yorker’da yayınlanan bir yazısında OpenAI’nin “[plan] Dünyanın geniş bir kesiminin bir yönetim kuruluna temsilci seçmesine izin vermenin bir yolu.” Bu hiçbir zaman gerçekleşmedi ve bu noktada gerçekleşmesi de pek olası görünmüyor.

Kaynak: https://techcrunch.com/2024/05/28/openais-new-safety-committee-is-made-up-of-all-insiders/