LlamaIndex, işletmeler için RAG’ın geleceğine nasıl öncülük ediyor?

Artırılmış neslin alınması (RAG), büyük dil modeli (LLM) çıktılarının kalitesinin artırılmasına yardımcı olmak için harici bilgi tabanlarından yararlanan önemli bir tekniktir. Aynı zamanda insanların çapraz kontrol edebileceği model kaynaklarına ilişkin şeffaflık da sağlar.

Ancak kurucu ortak ve CEO Jerry Liu’ya göre LlamaIndex, temel RAG sistemleri ilkel arayüzlere ve düşük kaliteli anlayış ve planlamaya sahip olabilir, işlev çağrısı veya araç kullanımından yoksundur ve durumsuzdur (belleksiz). Veri siloları bu sorunu yalnızca daha da kötüleştirir. Liu sırasında konuştu VB Dönüşümü dün San Francisco’da.

Bu üretim yapmayı zorlaştırabilir Geniş ölçekte LLM uygulamalarıdoğruluk sorunları, ölçeklendirme zorlukları ve çok fazla gerekli parametre (derin teknoloji uzmanlığı gerektirir) nedeniyle.

Bu, RAG’ın cevaplayamayacağı birçok soru olduğu anlamına gelir.

Liu bu hafta VB Transform’da sahnede “RAG gerçekten sadece başlangıçtı” dedi. Saf RAG’ın birçok temel konsepti “biraz aptalcadır” ve “çok yetersiz kararlar” verir.

LlamaIndex, geliştiricilerin hızlı ve basit bir şekilde geliştirme yapmasına yardımcı olan bir platform sunarak bu zorlukların üstesinden gelmeyi hedefliyor yeni nesil LLM destekli uygulamalar. Çerçeve, yapılandırılmamış ve yarı yapılandırılmış verileri tek tip, program aracılığıyla erişilebilir formatlara dönüştüren veri çıkarma olanağı sunar; Soru-cevap sistemleri ve sohbet robotları aracılığıyla dahili verilerdeki sorguları yanıtlayan RAG; ve otonom ajanlar, diye açıkladı Liu.

Verileri senkronize ederek her zaman güncel kalmasını sağlayın

Liu, ister yapısal ister yapısal olsun, bir kuruluş içindeki tüm farklı veri türlerini bir araya getirmenin kritik önem taşıdığını belirtti. Çoklu aracılı sistemler daha sonra şirketlerin içerdiği “heterojen veri zenginliğinden faydalanabilir”.

“Herhangi Yüksek Lisans başvurusu yalnızca verileriniz kadar iyidir” dedi Liu. “Veri kaliteniz iyi değilse iyi sonuçlar elde edemezsiniz.”

LlamaCloud — artık bekleme listesine göre mevcut — gelişmiş ayıklama, dönüştürme yükleme (ETL) yeteneklerine sahiptir. Liu, bunun, geliştiricilerin “verileri zaman içinde senkronize ederek her zaman güncel kalmasını” sağladığını açıkladı. “Bir soru sorduğunuzda, soru ne kadar karmaşık veya yüksek düzeyde olursa olsun, ilgili bağlama sahip olmanız garanti edilir.”

LlamaIndex’in arayüzünün hem basit hem de karmaşık soruların yanı sıra üst düzey araştırma görevlerini de ele alabileceğini ve çıktıların kısa yanıtlar, yapılandırılmış çıktılar ve hatta araştırma raporları içerebileceğini söyledi.

Şirketin Çağrı Ayrıştırma özellikle Yüksek Lisans halüsinasyonlarını azaltmayı amaçlayan gelişmiş bir belge ayrıştırıcıdır. Liu, aylık 500.000 indirmeye ve 14.000 tekil kullanıcıya sahip olduğunu ve 13 milyondan fazla sayfayı işlediğini söyledi.

Küresel yatırım firmasında uygulamalı yapay zeka lideri Dean Barr, “LlamaParse şu anda kurumsal RAG işlem hatları için karmaşık belge yapılarını ayrıştırmada gördüğüm en iyi teknoloji” dedi. Carlyle Grubu. “İç içe geçmiş tabloları koruma, zorlu mekansal düzenleri ve görüntüleri çıkarma yeteneği, gelişmiş RAG ve aracılı model oluşturmada veri bütünlüğünü korumanın anahtarıdır.”

Liu, LlamaIndex platformunun finansal analist yardımında, merkezi internet aramasında, sensör verileri için analitik kontrol panellerinde ve dahili LLM uygulama geliştirme platformlarında ve teknoloji, danışmanlık, finansal hizmetler ve hizmetler gibi sektörlerde kullanıldığını açıkladı. sağlık hizmeti.

Basit aracılardan gelişmiş çoklu aracılara kadar

Liu, LlamaIndex’in farklı veri arayüzleri üzerinden daha iyi sorgu anlayışı, planlama ve araç kullanımı sağlamaya yardımcı olmak için etkensel muhakeme üzerine katmanlar oluşturmasının önemli olduğunu açıkladı. Ayrıca uzmanlık ve paralelleştirme sunan, maliyeti optimize etmeye ve gecikmeyi azaltmaya yardımcı olan birden fazla aracıyı da içerir.

Liu, tek ajanlı sistemlerle ilgili sorun şu ki, “genel teorik karmaşıklık daha yüksek olsa bile, içine ne kadar çok şey sığdırmaya çalışırsanız, o kadar güvenilmez hale gelir” dedi. Ayrıca tek aracılar sonsuz sayıda görevi çözemez. “Bir temsilciye 10.000 alet vermeye çalışırsanız, bu pek işe yaramaz.”

Çoklu temsilciler, her temsilcinin belirli bir görevde uzmanlaşmasına yardımcı oluyor, diye açıkladı. Paralelleştirme maliyetleri ve gecikme gibi sistem düzeyinde avantajlara sahiptir.

Liu, “Amaç, birlikte çalışarak ve iletişim kurarak daha üst düzey görevleri bile çözebilmenizdir” dedi.