Anthropic, yeni ve daha kapsamlı bir AI kıyaslama neslini finanse etmeyi düşünüyor

Anthropic, kendi Claude gibi üretken modeller de dahil olmak üzere yapay zeka modellerinin performansını ve etkisini değerlendirebilen yeni türdeki kriterlerin geliştirilmesini finanse etmek için bir program başlatıyor.

Pazartesi günü açıklanan Anthropic’in programı, şirketin bir blog gönderisinde belirttiği gibi “AI modellerindeki gelişmiş yetenekleri etkili bir şekilde ölçebilecek” üçüncü taraf kuruluşlara hibe verecek. İlgilenenler, sürekli olarak değerlendirilmek üzere başvuruda bulunabilirler.

Anthropic, resmi blogunda şöyle yazdı: “Bu değerlendirmelere yaptığımız yatırımın amacı, tüm ekosisteme fayda sağlayan değerli araçlar sağlayarak yapay zeka güvenliği alanının tamamını yükseltmektir.” “Yüksek kaliteli, güvenlikle ilgili değerlendirmeler geliştirmek zorlu olmayı sürdürüyor ve talep, arzı geride bırakıyor.”

Daha önce de vurguladığımız gibi yapay zekanın bir kıyaslama sorunu var. Günümüzde yapay zeka için en çok alıntı yapılan kriterler, ortalama bir kişinin test edilen sistemleri gerçekte nasıl kullandığını tespit etme konusunda yetersiz bir iş çıkarıyor. Ayrıca bazı kriterlerin, özellikle de modern üretken yapay zekanın ortaya çıkışından önce piyasaya sürülenlerin, yaşları göz önüne alındığında ölçmeyi iddia ettikleri şeyi ölçüp ölçemediğine dair sorular da var.

Anthropic’in önerdiği çok yüksek seviyeli, göründüğünden daha zor çözüm, yeni araçlar, altyapı ve yöntemler aracılığıyla yapay zeka güvenliğine ve toplumsal sonuçlara odaklanan zorlu kıyaslamalar oluşturuyor.

Şirket, özellikle bir modelin siber saldırılar gerçekleştirme, kitle imha silahlarını (örneğin nükleer silahlar) “geliştirme” ve insanları manipüle etme veya aldatma (örneğin derin sahtekarlıklar veya yanlış bilgiler yoluyla) gibi görevleri yerine getirme yeteneğini değerlendiren testler için çağrıda bulunuyor. Ulusal güvenlik ve savunmayla ilgili yapay zeka riskleri konusunda Anthropic, risklerin belirlenmesi ve değerlendirilmesi için bir tür “erken uyarı sistemi” geliştirmeye kararlı olduğunu söylüyor ancak blog yazısında böyle bir sistemin neleri içerebileceğini açıklamıyor.

Anthropic ayrıca yeni programının, yapay zekanın bilimsel çalışmalara yardımcı olma, birden fazla dilde konuşma ve kökleşmiş önyargıları azaltma ve otosansürleme toksisitesini azaltma potansiyelini araştıran kıyaslamalara ve “uçtan uca” görevlere yönelik araştırmaları desteklemeyi planladığını söylüyor.

Tüm bunları başarmak için Anthropic, konu uzmanlarının kendi değerlendirmelerini geliştirmelerine ve “binlerce” kullanıcıyı içeren geniş ölçekli model denemelerine olanak tanıyan yeni platformlar öngörüyor. Şirket, program için tam zamanlı bir koordinatör kiraladığını ve ölçeklenme potansiyeli olduğuna inandığı projeleri satın alabileceğini veya genişletebileceğini söyledi.

Anthropic gönderisinde “Her projenin ihtiyaçlarına ve aşamasına göre uyarlanmış bir dizi finansman seçeneği sunuyoruz” diye yazıyor ancak Anthropic sözcüsü bu seçenekler hakkında daha fazla ayrıntı vermeyi reddetti. “Takımlar, Anthropic’in sınır kırmızı ekibindeki alan uzmanları, ince ayar, güven ve güvenlik ve diğer ilgili ekiplerle doğrudan etkileşim kurma fırsatına sahip olacak.”

Anthropic’in yeni AI kriterlerini destekleme çabası övgüye değerdir; tabii ki arkasında yeterli para ve insan gücünün olduğu varsayılırsa. Ancak şirketin yapay zeka yarışındaki ticari hedefleri göz önüne alındığında, buna tamamen güvenmek zor olabilir.

Blog yazısında Anthropic, finanse ettiği bazı değerlendirmelerin yapay zeka güvenlik sınıflandırmalarıyla uyumlu olmasını istediği konusunda oldukça şeffaf. BT geliştirildi (kar amacı gütmeyen yapay zeka araştırma kuruluşu METR gibi üçüncü taraflardan gelen bazı girdilerle). Bu şirketin ayrıcalığı dahilindedir. Ancak aynı zamanda programa başvuranları, tamamen katılmadıkları “güvenli” veya “riskli” yapay zeka tanımlarını kabul etmeye de zorlayabilir.

Yapay zeka topluluğunun bir kısmının, Anthropic’in nükleer silah riskleri gibi “yıkıcı” ve “aldatıcı” yapay zeka risklerine ilişkin referanslarına da itiraz etmesi muhtemeldir. Pek çok uzman, yapay zekanın yakın gelecekte dünyanın sonunu getirecek, insanı geride bırakacak yetenekler kazanacağını bildiğimizden, yapay zekayı önerecek çok az kanıt olduğunu söylüyor. Bu uzmanlar, yaklaşmakta olan “süper zeka” iddialarının yalnızca dikkatleri yapay zekanın halüsinasyon eğilimleri gibi günün acil yapay zeka düzenleyici sorunlarından uzaklaştırmaya hizmet ettiğini ekliyor.

Anthropic, gönderisinde programının “kapsamlı yapay zeka değerlendirmesinin bir endüstri standardı olduğu bir geleceğe doğru ilerleme için bir katalizör” olarak hizmet etmesini umduğunu yazıyor. Bu, daha iyi yapay zeka kıyaslamaları oluşturmaya yönelik pek çok açık, kurumsal bağlantılı olmayan çabanın özdeşleşebileceği bir misyondur. Ancak bu çabaların, sadakati nihai olarak hissedarlara ait olan bir yapay zeka tedarikçisiyle güçlerini birleştirmeye istekli olup olmadığı henüz bilinmiyor.