Çalışma bulguları, büyük dil modellerinin önemli ölçüde Batı kültürel önyargısı sergilediğini gösteriyor

Araştırmacılar tarafından yeni bir çalışma Gürcistan Teknoloji Enstitüsü büyük dil modellerinin (Yüksek Lisans’lar) Arapça olarak yönlendirildiklerinde veya yalnızca Arapça verilerle eğitildiklerinde bile Batı kültürüyle ilişkili varlıklara ve kavramlara karşı önemli bir önyargı sergiliyorlar.

Bulgular, arXiv’de yayınlandıküresel olarak konuşlandırılan bu güçlü yapay zeka sistemlerinin kültürel adaleti ve uygunluğu hakkındaki endişeleri artırın.

“Çok dilli ve Arapça tek dilli olduğunu gösteriyoruz [language models] Araştırmacılar, “Namazdan Sonra Bira İçmek mi? Büyük Dil Modellerinde Kültürel Önyargıların Ölçülmesi.”

Çalışma, çok dilli yeteneklerindeki ilerlemelere rağmen yüksek lisans öğrencilerinin kültürel nüansları kavrama ve belirli kültürel bağlamlara uyum sağlama konusunda karşılaştıkları zorluklara ışık tutuyor.

Yüksek Lisans’ta kültürel önyargının potansiyel zararları

Araştırmacının bulguları, kültürel önyargıların, yüksek lisans eğitimleri tarafından desteklenen uygulamalarla etkileşime giren Batılı olmayan kültürlerden kullanıcılar üzerindeki etkisine ilişkin endişeleri artırıyor. Araştırmanın yazarlarından biri olan Alan Ritter şunları söyledi: “Yüksek Lisans’ların önümüzdeki yıllarda pek çok yeni uygulama yoluyla artan bir etkiye sahip olması muhtemel olduğundan, bu tür kültürel önyargıların neden olabileceği tüm potansiyel zararları tahmin etmek zordur.” VentureBeat ile bir röportaj.

Ritter, mevcut LLM çıktılarının kültürel stereotipleri sürdürdüğüne dikkat çekti. “Arap isimleri taşıyan bireyler hakkında kurgusal hikayeler üretmeye yönlendirildiklerinde, dil modelleri Arap erkek isimlerini yoksulluk ve gelenekçilikle ilişkilendirme eğiliminde oluyor. Örneğin, GPT-4’ün ‘dikkatli’, ‘zayıf’ veya ‘mütevazı’ gibi sıfatları seçme olasılığı daha yüksektir. Buna karşılık ‘zengin’, ‘popüler’ ve ‘benzersiz’ gibi sıfatlar Batılı isimlere sahip kişiler hakkında üretilen hikayelerde daha yaygın” diye açıkladı.

Dahası, çalışma mevcut Yüksek Lisans’ların Batılı olmayan kültürlerden gelen bireyler için daha kötü performans gösterdiğini buldu. Ritter, “Duygu analizi durumunda, Yüksek Lisans’lar aynı zamanda Arap varlıklarını içeren cümleler üzerinde daha fazla yanlış-negatif tahminlerde bulunuyor, bu da Arap varlıklarının olumsuz duyarlılıkla daha yanlış bir şekilde ilişkilendirildiğini öne sürüyor” diye ekledi.

Araştırmanın baş araştırmacısı ve yazarı Wei Xu, bu önyargıların potansiyel sonuçlarını vurguladı. “Bu kültürel önyargılar yalnızca Batılı olmayan kültürlerden kullanıcılara zarar vermekle kalmıyor, aynı zamanda modelin görevleri yerine getirmedeki doğruluğunu da etkiliyor ve kullanıcıların teknolojiye olan güvenini azaltıyor” dedi.

CAMeL ile Tanışın: Kültürel önyargıları değerlendirmek için yeni bir kriter

Ekip, kültürel önyargıları sistematik olarak değerlendirmek için CAMeL (LM’ler için Kültürel Uygunluk Ölçü Seti)Kişi adları, yiyecek yemekleri, giyim eşyaları ve dini siteler de dahil olmak üzere sekiz kategoriye yayılan 20.000’den fazla kültürel açıdan alakalı varlıktan oluşan yeni bir kıyaslama veri kümesi. Varlıklar, Arap ve Batı kültürlerinin karşıtlığını sağlamak için küratörlendi.

Araştırma ekibi makalede şöyle açıklıyor: “CAMeL, LM’lerdeki kültürel önyargıları hem dışsal hem de içsel değerlendirmeler yoluyla ölçmek için bir temel sağlıyor.” Araştırmacılar, CAMeL’den yararlanarak, aralarında ünlü GPT-4’ün de bulunduğu 12 farklı dil modelinin hikaye oluşturma, adlandırılmış varlık tanıma (NER) ve duygu analizi gibi çeşitli görevlerde kültürler arası performansını değerlendirdi.

Ritter şunu öngörüyor: CAMeL karşılaştırması Yüksek Lisans’ları kültürel önyargılar açısından hızlı bir şekilde test etmek ve bu sorunları azaltmak için model geliştiricilerin daha fazla çabaya ihtiyaç duyduğu boşlukları belirlemek için kullanılabilir. “CAMeL’in yalnızca Arap kültürel önyargılarını test etmesi bir sınırlamadır, ancak bunu gelecekte daha fazla kültüre genişletmeyi planlıyoruz” diye ekledi.

İleriye giden yol: Kültürel Farkındalığa Sahip Yapay Zeka Sistemleri Oluşturmak

Ritter, farklı kültürlere yönelik önyargıları azaltmak için LLM geliştiricilerinin, LLM’lerin etiketli verileri kullanarak insan tercihleriyle uyumlu hale getirildiği ince ayar süreci sırasında birçok farklı kültürden veri etiketleyicileri işe alması gerektiğini öne sürüyor. “Bu karmaşık ve pahalı bir süreç olacak, ancak yüksek lisans sayesinde insanların teknolojik gelişmelerden eşit şekilde yararlanmasını ve bazı kültürlerin geride kalmamasını sağlamak için çok önemli” diye vurguladı.

Xu, makalelerinden ilginç bir bulgunun altını çizdi ve Yüksek Lisans’lardaki kültürel önyargıların potansiyel nedenlerinden birinin Vikipedi verilerinin ön eğitimde yoğun kullanımı olduğuna dikkat çekti. “Vikipedi dünyanın her yerindeki editörler tarafından oluşturulmuş olmasına rağmen, Batılı kültürel kavramların çoğu Batılı olmayan dillere çevriliyor, tersi oluyor” diye açıkladı. “İlginç teknik yaklaşımlar, ön eğitimde daha iyi veri karışımını, kültürel duyarlılık için insanlarla daha iyi uyum sağlamayı, kişiselleştirmeyi, model öğrenmeyi veya kültürel uyum için yeniden öğrenmeyi içerebilir.”

Ritter ayrıca yüksek lisans eğitimlerinin internette daha az varlığa sahip kültürlere uyarlanmasının ek bir zorluğa da dikkat çekti. “Dil modellerinin ön eğitimi için mevcut olan ham metin miktarı sınırlı olabilir. Bu durumda, LLM’lerde önemli kültürel bilgiler başlangıçta eksik olabilir ve bunları standart yöntemler kullanarak bu kültürlerin değerleriyle basit bir şekilde hizalamak, sorunu tamamen çözmeyebilir. Kültürel bilgiyi yüksek lisans eğitimlerine enjekte ederek onları bu kültürlerdeki bireyler için daha faydalı hale getirmenin yeni yollarını bulmak için yaratıcı çözümlere ihtiyaç var” dedi.

Bulgular, yüksek lisans eğitimlerinin neden olduğu kültürel zorlukları ele almak için araştırmacılar, yapay zeka geliştiricileri ve politika yapıcılar arasında işbirlikçi bir çabaya duyulan ihtiyacın altını çiziyor. Xu, “Buna, yüksek lisans eğitimlerinin hem eğitim hem de dağıtımda kültürel adaptasyonu için yeni bir araştırma fırsatı olarak bakıyoruz” dedi. “Bu aynı zamanda şirketlerin yüksek lisans eğitimlerinin farklı pazarlar için yerelleştirilmesi hakkında düşünmesi için de iyi bir fırsat.”

Kültürel adalete öncelik vererek ve kültürel açıdan bilinçli yapay zeka sistemlerinin geliştirilmesine yatırım yaparak, küresel anlayışı teşvik etmek ve dünya çapındaki kullanıcılar için daha kapsayıcı dijital deneyimleri teşvik etmek için bu teknolojilerin gücünden yararlanabiliriz. Xu sözlerini şöyle tamamladı: “Bu yönde ilk taşlardan birini atmaktan heyecan duyuyoruz ve önerdiğimiz yöntemi kullanarak oluşturulan veri setimizin ve benzer veri setlerimizin, Yüksek Lisans’ların bir kişiye karşı daha az kayırmacılığa sahip olmalarını sağlamak için değerlendirme ve eğitimde rutin olarak kullanılmasını görmeyi sabırsızlıkla bekliyoruz. kültür diğerine üstün gelir.