DataStax CTO’su RAG’ın Yapay Zeka Halüsinasyonlarını Azaltmadaki Rolünü Tartışıyor

Erişim Artırılmış Üretim (RAG), üretken yapay zekayı uygulamak isteyen BT liderleri ve kuruluşlar için vazgeçilmez hale geldi. İşletmeler, geniş bir dil modeli (LLM) ve RAG kullanarak, bir LLM’yi kurumsal verilere dayandırarak çıktıların doğruluğunu artırabilir.

Peki RAG nasıl çalışır? RAG’ın kullanım durumları nelerdir? Peki gerçek alternatifler var mı?

TechRepublic, 2024’te üretken yapay zekanın piyasaya sürülmesi sırasında RAG’ın piyasada nasıl kullanıldığını ve teknolojinin bir sonraki adımı olarak neyi gördüğünü öğrenmek için veri tabanı ve yapay zeka şirketi DataStax’ta baş teknoloji sorumlusu ve başkan yardımcısı Davor Bonaci ile görüştü. 2025.

Geri Alma Artırılmış Nesil Nedir?

RAG, bir kuruluştan genişletilmiş veya artırılmış bağlam ekleyerek üretken AI LLM modeli çıktılarının uygunluğunu ve doğruluğunu artıran bir tekniktir. BT liderlerinin kurumsal kullanım senaryoları için üretken yapay zeka yüksek lisans eğitimlerini kullanmalarına olanak tanıyan şey budur.

Bonaci, Yüksek Lisans’ların “temel olarak internette mevcut olan tüm bilgiler üzerine eğitilmiş” olsalar da belirli bir bitiş tarihine kadar modele bağlı olarak dil ve genel bilgi güçlerinin önemli ve iyi bilinen sorunlarla dengelendiğini açıkladı. AI halüsinasyonları gibi.

BAKIN: Zetaris, yapay zekayı güçlendirmenin geleceğinin neden birleşik veri gölleri olduğunu anlatıyor

“Kurumsal bir ortamda kullanmak istiyorsanız onu kurumsal verilere dayandırmalısınız. Aksi halde çok fazla halüsinasyon görürsünüz” dedi. “RAG ile, Yüksek Lisans’tan bir şey üretmesini istemek yerine, ‘Bir şey üretmenizi istiyorum ama lütfen doğru olduğunu bildiğim bu şeyleri göz önünde bulundurun’ diyorsunuz.”

RAG kurumsal ortamda nasıl çalışır?

RAG, bilgi tabanı, veritabanı veya belge seti gibi bir kurumsal bilgi setine LLM referansı verir. Örneğin DataStax’ın ana ürünü, işletmelerin yapay zeka uygulamalarının oluşturulmasını desteklemek için kullandığı vektör veritabanı Astra DB’dir.

Uygulamada, bir kullanıcı tarafından verilen bir sorgu girişi, önceden tanımlanmış bir bilgi kaynağından en alakalı belgeleri veya bilgi parçalarını belirleyen bir geri alma adımından (bir vektör arama) geçer. Bu, kurumsal belgeleri, akademik makaleleri veya SSS’leri içerebilir.

Alınan bilgiler daha sonra orijinal sorgunun yanı sıra ek bağlam olarak üretken modele beslenir ve modelin yanıtını gerçek dünyaya, güncele veya alana özgü bilgiye dayandırmasına olanak tanır. Bu temellendirme, bir kuruluş için anlaşmayı bozabilecek halüsinasyon riskini azaltır.

RAG, üretken yapay zeka modellerinin çıktısını ne kadar artırıyor?

Bonaci, üretken yapay zekayı RAG ile ve RAG olmadan kullanmak arasındaki farkın “gece ve gündüz” olduğunu söyledi. Bir kuruluş için, bir yüksek lisans kurumunun halüsinasyona uğrama eğilimi, esasen onların “kullanılamaz” olduğu veya yalnızca çok sınırlı kullanım durumları için olduğu anlamına gelir. RAG tekniği, işletmeler için üretken yapay zekanın kapısını açan şeydir.

“Günün sonunda onlar [LLMs] Bonaci, “İnternetteki şeyleri görerek bilgi sahibi olabiliyoruz” dedi. “Fakat eğer biraz sol alanın dışına çıkan bir soru sorarsanız, size çok emin bir cevap verecekler ki bu tamamen yanlış olabilir.”

BAKIN: Üretken yapay zeka, işletmeler için maliyetli hataların kaynağı haline geldi

Bonaci, RAG tekniklerinin, kullanılan modellere ve kıyaslamalara bağlı olarak, akıl yürütme dışı görevler için LLM çıktılarının doğruluğunu %90’ın üzerine çıkarabileceğini belirtti. Karmaşık muhakeme görevleri için, RAG tekniklerini kullanarak %70-80 arasında doğruluk sağlama olasılıkları daha yüksektir.

Bazı RAG kullanım durumları nelerdir?

RAG, aşağıdakiler de dahil olmak üzere kuruluşlar için çeşitli tipik üretken yapay zeka kullanım durumlarında kullanılır:

Otomasyon

İşletmeler, RAG ile zenginleştirilmiş LLM’leri kullanarak tekrarlanabilir görevleri otomatikleştirebilir. Otomasyonun yaygın bir kullanım alanı, sistemin belgeleri arama, yanıt verme ve bilet iptal etme veya satın alma gibi işlemleri gerçekleştirme yetkisine sahip olduğu müşteri desteğidir.

Kişiselleştirme

RAG, büyük miktarlarda bilgiyi sentezlemek ve özetlemek için kullanılabilir. Bonaci, kullanıcının konumu, geçmiş satın alma işlemleri veya seyahat tercihleri ​​gibi bağlamla alakalı kişiselleştirilmiş bir şekilde özetlenebilen müşteri yorumlarına örnek verdi.

Aramak

RAG, bir kuruluştaki arama sonuçlarını iyileştirmek, onları daha alakalı ve bağlama özgü hale getirmek için uygulanabilir. Bonaci, arama terimleri mevcut içerikle tam olarak eşleşmese bile RAG’ın yayın hizmeti kullanıcılarının konumları veya ilgi alanlarıyla alakalı filmleri veya içerikleri bulmalarına nasıl yardımcı olduğunu belirtti.

Bilgi grafikleri RAG ile nasıl kullanılabilir?

Bilgi grafiklerini RAG ile kullanmak, temel RAG’ın “gelişmiş sürümüdür”. Bonaci, temel RAG’deki bir vektör aramasının, bir vektör veritabanındaki benzerlikleri tespit etmesine rağmen (bu onu genel bilgi ve doğal insan dili için çok uygun hale getirir), belirli kurumsal kullanım durumları için sınırlamaları olduğunu açıkladı.

Bir cep telefonu şirketinin farklı kapsamlara sahip çok katmanlı planlar sunduğu bir senaryoda, uluslararası dolaşımın dahil olup olmadığı gibi bir müşteri sorgusu, yapay zekanın karar vermesini gerektirecektir. Bir bilgi grafiği, neyin geçerli olduğunu anlamasına yardımcı olacak bilgileri düzenlemeye yardımcı olabilir.

BAKIN: Siber güvenlikte yapay zekada başarının anahtarı dijital olgunluk

Bonaci, “Sorun şu ki, plan belgelerinin içeriği birbiriyle çelişiyor” dedi. “Yani sistem hangisinin doğru olduğunu bilmiyor. Dolayısıyla, bilgileri doğru bir şekilde organize etmenize ve ilişkilendirmenize, bu çatışmaları çözmenize yardımcı olacak bir bilgi grafiği kullanabilirsiniz.”

İşletmeler için RAG’a alternatif var mı?

RAG’ın ana alternatifi, üretken bir yapay zeka modeline ince ayar yapmaktır. İnce ayar ile, kurumsal verileri bir bilgi istemi olarak kullanmak yerine, modeli bu kurumsal verilerden yararlanabilecek şekilde kullanıma hazırlamak için etkilenen bir veri seti oluşturmak üzere veriler modelin kendisine beslenir.

Bonaci, bugüne kadar RAG’ın, üretken yapay zekayı bir kuruluşa uygun hale getirmenin en etkili yolu olarak sektörde yaygın olarak kabul edilen yöntem olduğunu söyledi.

“İnsanların modellere ince ayar yaptığını görüyoruz, ancak bu yalnızca küçük bir sorun grubunu çözüyor ve dolayısıyla bir çözüm olarak geniş çapta kabul görmedi” dedi.

Kaynak: https://www.techrepublic.com/article/datastax-cto-rag-ai-hallucinations/