RAG neden üretken yapay zekanın halüsinasyon sorununu çözmüyor?

Halüsinasyonlar (yaratıcı yapay zeka modellerinin temelde söylediği yalanlar) teknolojiyi operasyonlarına entegre etmek isteyen işletmeler için büyük bir sorundur.

Modeller gerçek bir zekaya sahip olmadıkları ve özel bir şemaya göre yalnızca kelimeleri, görüntüleri, konuşmayı, müziği ve diğer verileri tahmin ettikleri için bazen yanlış anlıyorlar. Çok yanlış. The Wall Street Journal’da yakın zamanda yayınlanan bir makalede bir kaynak, Microsoft’un üretken yapay zekasının toplantı katılımcılarını icat ettiği ve konferans görüşmelerinin aslında görüşmede tartışılmayan konularla ilgili olduğunu ima ettiği bir örneği anlatıyor.

Bir süre önce de yazdığım gibi, halüsinasyonlar günümüzün transformatör tabanlı model mimarilerinde çözülemeyen bir sorun olabilir. Ancak bir dizi üretken yapay zeka tedarikçisi şunları öneriyor: olabilmek geri alma artırılmış nesil veya RAG adı verilen teknik bir yaklaşımla az çok ortadan kaldırılabilir.

Satıcılardan biri olan Squirro bunu şöyle açıklıyor:

Teklifin temelinde, çözüme gömülü olan Alma Artırılmış LLM’ler veya Alma Artırılmış Üretim (RAG) kavramı yer alıyor… [our generative AI] sıfır halüsinasyon vaadiyle benzersizdir. Ürettiği her bilgi parçası bir kaynağa kadar izlenebilir olduğundan güvenilirlik sağlanır.

İşte SiftHub’dan benzer bir konuşma:

RAG teknolojisini ve ince ayarlı büyük dil modellerini sektöre özel bilgi eğitimiyle kullanan SiftHub, şirketlerin sıfır halüsinasyonla kişiselleştirilmiş yanıtlar oluşturmasına olanak tanır. Bu, artan şeffaflığı ve azaltılmış riski garanti eder ve yapay zekanın tüm ihtiyaçları için kullanılması konusunda mutlak güven uyandırır.

RAG’ın öncülüğünü, Meta ve University College London’da araştırmacı ve terimi türeten 2020 makalesinin baş yazarı olan veri bilimcisi Patrick Lewis yaptı. Bir modele uygulandığında RAG, esas olarak bir anahtar kelime aramasını kullanarak bir soruyla ilgili olabilecek belgeleri (örneğin, Super Bowl hakkındaki bir Wikipedia sayfası) alır ve ardından modelden bu ek bağlamda yanıtlar üretmesini ister.

“ChatGPT veya Llama gibi üretken bir yapay zeka modeliyle etkileşimde olduğunuzda ve bir soru sorduğunuz zaman, modelin varsayılan olarak ‘parametrik hafızasından’, yani parametrelerinde depolanan bilgiden yanıt vermesi gerekir. Kâr amacı gütmeyen Allen Enstitüsü’nün yapay zeka odaklı araştırma bölümü olan AI2’de araştırma bilimcisi olan David Wadden, “web’den gelen devasa veriler üzerine eğitim veriliyor” dedi. “Fakat tıpkı bir referansınız varsa muhtemelen daha doğru cevaplar vereceğiniz gibi. [like a book or a file] Önünüzdeki modeller için de aynı durum bazı durumlarda geçerli.”

RAG inkar edilemez derecede faydalıdır; bir modelin ürettiği şeylerin, bunların doğruluğunu doğrulamak için alınan belgelere atfedilmesine olanak tanır (ve ek bir fayda olarak, potansiyel olarak telif hakkı ihlalinde bulunan yetersizlikleri önler). RAG ayrıca, belgelerinin bir modeli eğitmek için kullanılmasını istemeyen kuruluşların (örneğin, sağlık ve hukuk gibi sıkı düzenlemeye tabi sektörlerdeki şirketlerin) modellerin bu belgelerden daha güvenli ve geçici bir şekilde yararlanmasına olanak tanımasına da olanak tanır.

Ama RAG kesinlikle yapamamak Bir modelin halüsinasyon görmesini engelleyin. Ve birçok satıcının gözden kaçırdığı sınırlamaları var.

Wadden, RAG’ın, kullanıcının bir “bilgi ihtiyacını” gidermek için bir model kullanmak istediği “bilgi yoğun” senaryolarda (örneğin, geçen yıl Super Bowl’u kimin kazandığını bulmak için) en etkili olduğunu söylüyor. Bu senaryolarda, soruyu yanıtlayan belgenin soruyla aynı anahtar kelimelerin çoğunu içermesi muhtemeldir (örneğin, “Super Bowl”, “geçen yıl”), bu da anahtar kelime arama yoluyla bulmayı nispeten kolaylaştırır.

Kodlama ve matematik gibi “akıl yürütme-yoğun” görevlerde işler daha da karmaşıklaşıyor; burada anahtar kelimeye dayalı bir arama sorgusunda, bir isteği yanıtlamak için gereken kavramları belirlemek – hangi belgelerin alakalı olabileceğini belirlemek daha da zorlaşıyor.

Temel sorularda bile, özellikle cevabın açık olmadığı uzun belgelerde, modellerin belgelerdeki ilgisiz içerik nedeniyle “dikkatleri dağılabilir”. Veya henüz bilinmeyen nedenlerden ötürü, alınan belgelerin içeriğini görmezden gelip parametrik hafızalarına güvenmeyi tercih edebilirler.

RAG, aynı zamanda onu geniş ölçekte uygulamak için gereken donanım açısından da pahalıdır.

Bunun nedeni, ister web’den ister dahili bir veritabanından veya başka bir yerden alınan belgelerin, modelin onlara geri dönebilmesi için en azından geçici olarak bellekte saklanması gerektiğidir. Diğer bir harcama, bir modelin yanıtını oluşturmadan önce işlemesi gereken artan bağlamın hesaplanmasıdır. Temel işlemler için bile ihtiyaç duyduğu bilgi işlem ve elektrik miktarıyla zaten kötü şöhrete sahip bir teknoloji için bu, ciddi bir değerlendirme anlamına geliyor.

Bu, RAG’ın geliştirilemeyeceği anlamına gelmez. Wadden, RAG’dan alınan belgelerden daha iyi faydalanmak için modelleri eğitmeye yönelik devam eden birçok çabaya dikkat çekti.

Bu çabalardan bazıları, belgelerin ne zaman kullanılacağına “karar verebilen” modelleri ya da gereksiz gördükleri takdirde ilk etapta geri alma işlemini gerçekleştirmemeyi tercih edebilen modelleri içeriyor. Diğerleri ise devasa miktardaki belge veri kümelerini daha verimli bir şekilde dizine eklemenin yollarına ve belgelerin daha iyi temsilleri (anahtar kelimelerin ötesine geçen temsiller) aracılığıyla aramayı iyileştirmeye odaklanıyor.

Wadden, “Anahtar kelimelere dayalı belgeleri alma konusunda oldukça iyiyiz, ancak bir matematik problemini çözmek için gereken bir ispat tekniği gibi daha soyut kavramlara dayalı belgeleri alma konusunda o kadar iyi değiliz” dedi. “Daha soyut oluşturma görevleri için ilgili belgeleri tanımlayabilecek belge temsilleri ve arama teknikleri oluşturmak için araştırmaya ihtiyaç vardır. Bu noktada bunun çoğunlukla ucu açık bir soru olduğunu düşünüyorum.”

Yani RAG, bir modelin halüsinasyonlarını azaltmaya yardımcı olabilir; ancak bu, yapay zekanın tüm halüsinasyon sorunlarının cevabı değildir. Aksini iddia etmeye çalışan satıcılara karşı dikkatli olun.