RAG’ın Ötesinde: Önbelleği artırılmış oluşturma, daha küçük iş yükleri için gecikmeyi ve karmaşıklığı nasıl azaltır?

Erişimle artırılmış nesil (RAG), büyük dil modellerini (LLM’ler) ısmarlama bilgiler için özelleştirmenin fiili yolu haline geldi. Ancak RAG’ın ön teknik maliyetleri vardır ve yavaş olabilir. Artık, uzun bağlamlı LLM’lerdeki ilerlemeler sayesinde işletmeler, tüm özel bilgileri bilgi istemine ekleyerek RAG’ı atlayabilir.

A yeni çalışma Tayvan’daki Ulusal Chengchi Üniversitesi tarafından yapılan bir araştırma, uzun bağlamlı Yüksek Lisans ve önbellekleme tekniklerini kullanarak, RAG ardışık düzenlerinden daha iyi performans gösteren özelleştirilmiş uygulamalar oluşturabileceğinizi gösteriyor. Önbellek artırılmış nesil (CAG) olarak adlandırılan bu yaklaşım, bilgi külliyatının modelin bağlam penceresine sığabileceği kurumsal ortamlarda RAG’ın basit ve etkili bir alternatifi olabilir.

RAG’ın sınırlamaları

RAG bir etkili yöntem açık alan sorularını ve özel görevleri yerine getirmek için. Taleple ilgili belgeleri toplamak için erişim algoritmaları kullanır ve LLM’nin daha doğru yanıtlar oluşturmasını sağlamak için bağlam ekler.

Ancak RAG, LLM başvurularına çeşitli sınırlamalar getirmektedir. Eklenen alma adımı, kullanıcı deneyimini olumsuz etkileyebilecek gecikmelere neden olur. Sonuç aynı zamanda şunlara da bağlıdır: belge seçiminin kalitesi ve sıralama adımı. Çoğu durumda, erişim için kullanılan modellerin sınırlamaları, belgelerin daha küçük parçalara bölünmesini gerektirir ve bu da, alma sürecine zarar verebilir.

Ve genel olarak RAG, LLM uygulamasına karmaşıklık katarak ek bileşenlerin geliştirilmesini, entegrasyonunu ve bakımını gerektirir. Eklenen ek yük geliştirme sürecini yavaşlatır.

Önbellekle artırılmış alma

RAG işlem hattı geliştirmenin alternatifi, tüm belge topluluğunu bilgi istemine eklemek ve modelin istekle ilgili olan bitleri seçmesini sağlamaktır. Bu yaklaşım, RAG işlem hattının karmaşıklığını ve alma hatalarından kaynaklanan sorunları ortadan kaldırır.

Ancak tüm belgelerin bilgi istemine önden yüklenmesinde üç temel zorluk vardır. Birincisi, uzun istemler modeli yavaşlatacak ve çıkarımın maliyetini artıracaktır. İkincisi, LLM’nin bağlam penceresinin uzunluğu bilgi istemine sığacak belge sayısına sınırlar koyar. Ve son olarak, istemlere alakasız bilgilerin eklenmesi modelin kafasını karıştırabilir ve yanıtlarının kalitesini düşürebilir. Bu nedenle, en alakalı olanları seçmek yerine tüm belgelerinizi bilgi istemine doldurmak, modelin performansına zarar verebilir.

Önerilen CAG yaklaşımı, bu zorlukların üstesinden gelmek için üç temel eğilimden yararlanıyor.

Birincisi, gelişmiş önbelleğe alma teknikleri bilgi istemi şablonlarının işlenmesini daha hızlı ve daha ucuz hale getiriyor. CAG’ın dayanağı, bilgi belgelerinin modele gönderilen her bilgi istemine dahil edilmesidir. Bu nedenle istek alırken yapmak yerine tokenlerin dikkat değerlerini önceden hesaplayabilirsiniz. Bu ön hesaplama, kullanıcı isteklerini işlemek için gereken süreyi azaltır.

OpenAI, Anthropic ve Google gibi önde gelen LLM sağlayıcıları, isteminizin tekrarlanan bölümleri için istemi önbelleğe alma özellikleri sağlar; bunlar, bilgi isteminizin başına eklediğiniz bilgi belgelerini ve talimatları içerebilir. Antropik ile şunları yapabilirsiniz: maliyetleri %90’a kadar azaltın ve isteminizin önbelleğe alınan kısımlarında %85 oranında gecikme. Açık kaynaklı LLM barındırma platformları için eşdeğer önbellekleme özellikleri geliştirilmiştir.

Saniye, uzun bağlamlı LLM’ler istemlere daha fazla belge ve bilgi sığdırmayı kolaylaştırıyor. Claude 3.5 Sonnet 200.000’e kadar jetonu desteklerken GPT-4o 128.000 jetonu ve Gemini 2 milyona kadar jetonu destekler. Bu, istemde birden fazla belgenin veya kitabın tamamının dahil edilmesini mümkün kılar.

Ve son olarak, gelişmiş eğitim yöntemleri, modellerin çok uzun dizilerde daha iyi geri çağırma, akıl yürütme ve soru cevaplama yapmalarını sağlıyor. Geçtiğimiz yıl, araştırmacılar uzun sıralı görevler için çeşitli LLM kriterleri geliştirdiler; BABILuzun, UzunICLBenchVe CETVEL. Bu kıyaslamalar, LLM’leri çoklu erişim ve çok atlamalı soru cevaplama gibi zor problemler üzerinde test eder. Bu alanda hâlâ iyileştirmeye yer var ancak yapay zeka laboratuvarları ilerleme kaydetmeye devam ediyor.

Yeni nesil modeller bağlam pencerelerini genişletmeye devam ettikçe daha büyük bilgi koleksiyonlarını işleyebilecekler. Dahası, modellerin uzun bağlamlardan ilgili bilgileri çıkarma ve kullanma becerilerinin gelişmeye devam etmesini bekleyebiliriz.

Araştırmacılar, “Bu iki trend, yaklaşımımızın kullanılabilirliğini önemli ölçüde artıracak ve daha karmaşık ve çeşitli uygulamaların üstesinden gelmesini sağlayacak” diye yazıyor. “Sonuç olarak, metodolojimiz, yeni nesil LLM’lerin artan yeteneklerinden yararlanarak, bilgi yoğun görevler için sağlam ve çok yönlü bir çözüm haline gelecek şekilde iyi bir konuma sahiptir.”

RAG ve CAG

RAG ve CAG’ı karşılaştırmak için araştırmacılar, yaygın olarak tanınan iki soru yanıtlama kriteri üzerinde deneyler yaptılar: TAKIMTek belgelerden bağlama duyarlı soru-cevaplara odaklanan ve HotPotQAbirden çok belgede çok atlamalı akıl yürütmeyi gerektirir.

Bir kullandılar Alev-3.1-8B 128.000 jetonluk bağlam penceresine sahip model. RAG için, soruyla ilgili pasajları elde etmek amacıyla Yüksek Lisans’ı iki erişim sistemiyle birleştirdiler: temel BM25 algoritması Ve OpenAI yerleştirmeleri. CAG için, referansa birden fazla belge eklediler ve soruyu yanıtlamak için hangi pasajların kullanılacağını modelin kendisinin belirlemesine izin verdiler. Deneyleri, CAG’ın çoğu durumda her iki RAG sisteminden daha iyi performans gösterdiğini gösteriyor.

Araştırmacılar, “Sistemimiz, test setindeki tüm içeriği önceden yükleyerek erişim hatalarını ortadan kaldırıyor ve ilgili tüm bilgiler üzerinde bütünsel akıl yürütmeyi sağlıyor” diye yazıyor. “Bu avantaj özellikle RAG sistemlerinin eksik veya alakasız pasajları alabildiği ve optimal olmayan yanıt üretimine yol açtığı senaryolarda belirgindir.”

CAG ayrıca, özellikle referans metninin uzunluğu arttıkça yanıt oluşturma süresini de önemli ölçüde azaltır.

Bununla birlikte, CAG sihirli bir değnek değildir ve dikkatli kullanılmalıdır. Bilgi tabanının sık sık değişmediği ve modelin bağlam penceresine sığacak kadar küçük olduğu ayarlar için çok uygundur. İşletmeler ayrıca, belgelerinin, belgelerin bağlamına dayalı olarak çelişkili gerçekler içerdiği ve çıkarım sırasında modeli karıştırabileceği durumlara karşı da dikkatli olmalıdır.

CAG’ın kullanım durumunuz için iyi olup olmadığını belirlemenin en iyi yolu birkaç deneme yapmaktır. Neyse ki CAG’ın uygulanması çok kolaydır ve daha fazla geliştirme yoğunluklu RAG çözümlerine yatırım yapmadan önce her zaman ilk adım olarak düşünülmelidir.