Yapay zeka modellerinin istenmeyen verileri ‘unutmasını’ sağlamak performanslarına zarar verir

“Öğrenmeyi unutma” adı verilen teknikler, üretken bir yapay zeka modelinin, hassas özel veriler veya telif hakkıyla korunan materyaller gibi eğitim verilerinden topladığı belirli ve istenmeyen bilgileri unutmasını sağlamak için kullanılır.

Ancak mevcut öğrenme teknikleri iki ucu keskin bir kılıç gibidir: OpenAI’nin GPT-4o’su veya Meta’nın Llama 3.1 405B’si gibi bir modeli temel soruları yanıtlama konusunda çok daha az yetenekli hale getirebilirler.

Bu, Washington Üniversitesi (UW), Princeton, Chicago Üniversitesi, USC ve Google’daki araştırmacıların ortak yazdığı ve günümüzde en popüler öğrenme tekniklerinin modelleri bozma eğiliminde olduğunu ortaya koyan yeni bir araştırmaya göre böyledir; kullanılamaz durumdalar.

Çalışmanın araştırmacısı ve doktora öğrencisi Weijia Shi, “Değerlendirmemiz, şu anda mümkün olan öğrenmeyi bırakma yöntemlerinin, gerçek dünya senaryolarında anlamlı kullanıma veya uygulamaya henüz hazır olmadığını gösteriyor.” UW’de bilgisayar bilimi adayı TechCrunch’a söyledi. “Şu anda, bir modelin önemli miktarda fayda kaybı olmadan belirli verileri unutmasını sağlayacak etkili yöntemler yok.”

Modeller nasıl öğrenir?

Üretken yapay zeka modellerinin gerçek bir zekası yoktur. Kelimeleri, görüntüleri, konuşmayı, müziği, videoları ve diğer verileri tahmin eden istatistiksel sistemlerdir. Çok sayıda örnekle (örneğin filmler, ses kayıtları, makaleler vb.) beslenen yapay zeka modelleri, çevredeki verilerin bağlamı da dahil olmak üzere kalıplara dayalı olarak verilerin oluşma olasılığının ne kadar olduğunu öğrenir.

Örneğin, “İleriye bakıyorum…” parçasıyla biten bir e-posta verildiğinde, mesajları otomatik tamamlamak üzere eğitilmiş bir model, aldığı tüm e-postaların modelini takip ederek “… geri duymayı” önerebilir. Burada herhangi bir kasıtlılık yoktur; model hiçbir şeyi sabırsızlıkla beklemiyor. Bu sadece bilinçli bir tahminde bulunmaktır.

GPT-4o gibi amiral gemileri de dahil olmak üzere çoğu model, halka açık web sitelerinden ve web’deki veri kümelerinden elde edilen verilerle eğitilir. Bu tür modeller geliştiren çoğu satıcı, adil kullanımın, veri sahiplerini bilgilendirmeden, tazminat ödemeden ve hatta kredi vermeden verileri kazıma ve eğitim için kullanma uygulamalarını koruduğunu savunuyor.

Ancak her telif hakkı sahibi aynı fikirde değildir. Yazarlardan yayıncılara ve plak şirketlerine kadar pek çok kişi, değişikliği zorlamak için satıcılara karşı dava açtı.

Telif hakkı ikilemi, öğrenmeyi iptal etme tekniklerinin son zamanlarda çok fazla ilgi görmesinin nedenlerinden biridir. Google, çeşitli akademik kurumlarla işbirliği içinde geçen yıl, yeni öğrenmeme yaklaşımlarının yaratılmasını teşvik etmek amacıyla bir yarışma başlattı.

Öğrenmeyi iptal etmek aynı zamanda bir talep veya hükümet emrine yanıt olarak tıbbi kayıtlar veya uygunsuz fotoğraflar gibi hassas bilgilerin mevcut modellerden kaldırılması için de bir yol sağlayabilir. (Eğitim biçimleri sayesinde modeller, telefon numaralarından daha sorunlu örneklere kadar pek çok özel bilgiyi toplama eğilimindedir.) Geçtiğimiz birkaç yılda bazı satıcılar, veri sahiplerinin verilerinin güncellenmesini istemesine olanak tanıyan araçlar kullanıma sundu. eğitim setlerinden çıkarılmalıdır. Ancak bu devre dışı bırakma araçları yalnızca gelecekteki modeller için geçerlidir; piyasaya sürülmeden önce eğitilen modeller için geçerli değildir; öğrenmeyi unutmak, veri silme konusunda çok daha kapsamlı bir yaklaşım olacaktır.

Ne olursa olsun, öğrendiklerinizi unutmak “Sil”e basmak kadar kolay değil.

Unutma sanatı

Günümüzde öğrenmeyi geri alma teknikleri, modelleri öğrenilmeyecek verilerden “yönlendirmek” için tasarlanmış algoritmalara dayanmaktadır. Buradaki fikir, modelin tahminlerini etkileyerek hiçbir zaman veya çok nadiren belirli verileri çıkarmasını sağlamaktır.

Bu öğrenmeyi engelleyen algoritmaların ne kadar etkili olabileceğini görmek için Shi ve çalışma arkadaşları bir kıyaslama tasarladılar ve test etmek için sekiz farklı açık algoritma seçtiler. MUSE (Makine Unlearning Altı Yönlü Değerlendirme) olarak adlandırılan kıyaslama, bir algoritmanın yalnızca bir modelin eğitim verilerini kelimesi kelimesine yaymasını engellemekle kalmayıp (regürjitasyon olarak bilinen bir olgu), aynı zamanda modelin herhangi bir veriyle birlikte bu verilere ilişkin bilgisini de ortadan kaldırma yeteneğini araştırmayı amaçlamaktadır. başlangıçta veriler üzerinde eğitildiğine dair kanıt.

MUSE’da iyi puan almak, bir modelin iki şeyi unutmasını gerektirir: Harry Potter serisinden kitaplar ve haber makaleleri.

Örneğin, Harry Potter ve Sırlar Odası’ndan bir parça verildiğinde (“‘Kızartma tavasında daha fazlası var,’ dedi Teyze…”), MUSE eğitimsiz bir modelin tüm cümleyi okuyup okuyamayacağını test eder (“‘Kızartma odasında daha fazlası var” “Tavada” dedi Petunia Teyze, iri oğluna gözlerini çevirerek”), sahneyle ilgili soruları yanıtlayın (örneğin “Petunia Teyze oğluna ne söylüyor?”, “Kızartma tavasında daha fazlası”) veya metin üzerinde eğitim aldığını başka bir şekilde belirtin kitaptan.

MUSE ayrıca, araştırmacıların modelin genel faydası olarak adlandırdığı öğrenmeyi unutma sonrasında modelin ilgili genel bilgiyi (örneğin, JK Rowling’in Harry Potter serisinin yazarı olduğu) koruyup korumadığını da test eder. Fayda ne kadar düşük olursa, model o kadar fazla ilgili bilgi kaybeder ve modelin sorulara doğru yanıt verme yeteneği azalır.

Araştırmacılar yaptıkları çalışmada test ettikleri öğrenmeyi iptal eden algoritmaların yaptı modellerin belirli bilgileri unutmasını sağlayın. Ancak aynı zamanda modellerin genel soru cevaplama yeteneklerine de zarar vererek bir ödünleşim sunuyorlar.

Shi, “Modeller için etkili öğrenme yöntemleri tasarlamak zordur çünkü bilgi, modele karmaşık bir şekilde karışmıştır” diye açıkladı. “Örneğin, bir model, telif hakkıyla korunan materyaller (Harry Potter kitapları) ve Harry Potter Wiki’den ücretsiz olarak erişilebilen içerik üzerinde eğitilebilir. Mevcut öğrenmeyi iptal etme yöntemleri, telif hakkıyla korunan Harry Potter kitaplarını kaldırmaya çalıştığında, modelin Harry Potter Wiki hakkındaki bilgisini de önemli ölçüde etkiler.”

Sorunun herhangi bir çözümü var mı? Shi, henüz değil ve bunun ek araştırma ihtiyacını vurguladığını söyledi.

Şimdilik, eğitim verileriyle ilgili sorunlarına bir çözüm olarak öğrenmeyi unutma üzerine bahse giren satıcıların şansı yaver gitmiş gibi görünüyor. Belki bir gün teknik bir ilerleme, öğrenmeyi mümkün kılabilir. Ancak şimdilik satıcıların, modellerinin söylememesi gereken şeyleri söylemesini engellemenin başka bir yolunu bulması gerekecek.