Confluent, gerçek zamanlı akış yapay zekası için tak ve çalıştır seçeneğini başlatıyor

Veri akışı şirketi birleşik Hindistan’ın Bengaluru kentinde Asya’daki ilk Kafka Zirvesi’ne ev sahipliği yaptı. Etkinlik, Kafka topluluğundan büyük bir katılım gördü (küresel topluluğun %30’undan fazlası bölgeden geliyor) ve birçok müşteri ve iş ortağı oturumuna ev sahipliği yaptı.

Açılış konuşmasında şirketin CEO’su ve kurucu ortağı Jay Kreps, verilerin hem operasyonel hem de analitik yönlerini güçlendirmek için Confluent ile evrensel veri ürünleri oluşturma vizyonunu paylaştı. Bu amaçla kendisi ve ekip arkadaşları, gerçek zamanlı yapay zeka iş yüklerini çalıştırmayı kolaylaştıran yeni bir yetenek de dahil olmak üzere Confluent ekosistemine gelen birçok yeniliği sergiledi.

Kreps, bu teklifin geliştiricileri gerçek zamanlı verilerle yapay zeka modellerini eğitmeye ve çıkarmaya çalışırken çeşitli araç ve dilleri kullanmanın karmaşıklığından kurtaracağını söyledi. Şirketin CPO’su Shaun Clowes, VentureBeat ile yaptığı görüşmede bu teklifleri ve şirketin modern yapay zeka çağına yaklaşımını daha ayrıntılı olarak ele aldı.

Confluent’in Kafka hikayesi

On yılı aşkın bir süre önce kuruluşlar analitik iş yükleri için toplu verilere büyük ölçüde güveniyorlardı. Yaklaşım işe yaradı ancak bu, en yeni bilgi parçasını değil, yalnızca bilgiden belirli bir noktaya kadar değeri anlamak ve yönlendirmek anlamına geliyordu.

Bu boşluğu kapatmak için, Apache Kafka da dahil olmak üzere verilerin gerçek zamanlı hareketini, yönetimini ve işlenmesini destekleyen bir dizi açık kaynak teknolojisi geliştirildi.

Günümüze hızlı bir şekilde ilerleyen Apache Kafka, binlerce kuruluşta veri akışı akışı için lider seçenek olarak hizmet ediyor.

Açık platformun orijinal yaratıcılarından biri olan Kreps liderliğindeki Confluent, bunun etrafında ticari ürünler ve hizmetler (hem kendi kendine hem de tamamen yönetilen) geliştirmiştir.

Ancak bu bulmacanın sadece bir parçası. Geçen yılki veriler yayın oynatıcısı ayrıca Immerok’u satın aldıApache Flink projesine önde gelen katkıda bulunanlardan biri, akış aşağı uygulamalar için veri akışlarını işlemek (filtrelemek, birleştirmek ve zenginleştirmek).

Şimdi, Kafka Zirvesi’nde şirket, Apache Flink için bulut tabanlı teklifinde yapay zeka modeli çıkarımını başlattı ve en çok hedeflenen uygulamalardan birini akış verileriyle basitleştirdi: gerçek zamanlı yapay zeka ve makine öğrenimi.

Clowes, “Kafka, tüm bu farklı sistemlerin gerçek zamanlı olarak birlikte çalışmasını sağlamak ve gerçekten harika deneyimlere güç vermek için yaratıldı” diye açıkladı. “Yapay zeka bu yangına yakıt ekledi. Örneğin, bir kullandığınızda Yüksek Lisans, gerekirse telafi edecek ve cevap verecektir. Yani, etkili bir şekilde, doğru olsa da olmasa da onun hakkında konuşmaya devam edecek. O zaman yapay zekayı ararsınız ve yanıtının kalitesi neredeyse her zaman verilerin doğruluğuna ve güncelliğine bağlıdır. Bu, geleneksel makine öğreniminde her zaman doğruydu ve modern makine öğreniminde de çok doğru.”

Daha önce, akış verileriyle yapay zekayı çağırmak için Flink kullanan ekiplerin modeller ve veri işleme hatları genelinde tesisatı yapmak için kodlama yapması ve çeşitli araçlar kullanması gerekiyordu. Confluent, yapay zeka model çıkarımıyla bunu “çok takılabilir ve birleştirilebilir” hale getiriyor ve OpenAI, AWS SageMaker, GCP Vertex ve Microsoft Azure dahil olmak üzere yapay zeka motorlarına çağrı yapmak için platform içinden basit SQL ifadeleri kullanmalarına olanak tanıyor.

“RAG yığınını oluşturmak için zaten Flink’i kullanıyor olabilirsiniz, ancak bunu kod kullanarak yapmanız gerekir. SQL ifadeleri yazmanız gerekir, ancak daha sonra bir modeli çağırmak ve yerleştirmeleri veya çıkarımı geri almak için kullanıcı tanımlı bir işlevi kullanmanız gerekir. Öte yandan bu, onu süper takılabilir hale getiriyor. Yani herhangi bir kodu değiştirmeden herhangi bir yerleştirmeyi veya üretim modelini çağırabilirsiniz,” dedi CPO.

Esneklik ve güç

Tak ve çalıştır yaklaşımı, kullanıcılara kullanım durumlarına bağlı olarak istedikleri seçeneğe gitme esnekliği vermek istediği için şirket tarafından tercih edildi. Bu modellerin performansının da zaman içinde gelişmeye devam ettiğini ve hiçbir modelin “kazanan ya da kaybeden” olmadığını belirtmeye bile gerek yok. Bu, kullanıcının temel veri hattını değiştirmeden başlangıçta A modeliyle gidebileceği ve daha sonra iyileşirse B modeline geçebileceği anlamına gelir.

“Bu durumda aslında iki Flink işiniz var. Bir Flink işi, müşteri verileriyle ilgili verileri dinlemektir ve bu model, belge parçasından bir yerleştirme oluşturur ve bunu bir vektör veritabanına kaydeder. Artık bir vektör veritabanı en son bağlamsal bilgilere sahiptir. Sonra diğer tarafta bir müşterinin soru sorması gibi bir çıkarım talebiniz var. Yani soruyu Flink işinden alıp, yerleştirmeleri kullanarak alınan belgelere eklersiniz. Ve bu kadar. Seçilen LLM’yi ararsınız ve yanıt olarak verileri iletirsiniz,” diye belirtti Clowes.

Şu anda şirket, Flink ile gerçek zamanlı yapay zeka uygulamaları geliştiren seçilmiş müşterilere yapay zeka modeli çıkarımına erişim sunuyor. Önümüzdeki aylarda erişimi genişletmeyi ve AI uygulamalarını akış verileriyle çalıştırmayı daha kolay, daha ucuz ve daha hızlı hale getirmek için daha fazla özellik sunmayı planlıyor. Clowes, bu çabanın bir kısmının, kullanıcılara ilgili iş akışlarında kodlama ve diğer görevlerde yardımcı olacak bir gen yapay zeka asistanına sahip olacak bulut tabanlı teklifte iyileştirmeler de içereceğini söyledi.

“Yapay zeka asistanıyla ‘Bana bu konunun nereden geldiğini söyle, nereye gittiğini söyle veya altyapının nasıl göründüğünü söyle’ diyebilirsin ve o tüm cevapları verir, görevleri yerine getirir. Bu, müşterilerimizin gerçekten iyi bir altyapı oluşturmasına yardımcı olacak” dedi.

Paradan tasarruf etmenin yeni bir yolu

Confluent, yapay zeka çalışmalarını gerçek zamanlı verilerle basitleştirmeye yönelik yaklaşımların yanı sıra, müşterileri için yeni bir sunucusuz küme türü olan Nakliye Kümelerinden de bahsetti.

Clowes, bu otomatik ölçeklendirmeli Nakliye Kümelerinin, veri merkezleri arasında daha ucuz ancak daha yavaş çoğaltma avantajından yararlandığını açıkladı. Bu, bir miktar gecikmeye neden olur, ancak maliyette %90’a kadar azalma sağlar. Bu yaklaşımın, indeksleme veya toplu toplama motorlarına günlük kaydı/telemetri verilerinin işlenmesi gibi birçok kullanım durumunda işe yaradığını söyledi.

“Kafka standardıyla elektronlara kadar inebilirsiniz. Bazı müşteriler 10-20 milisaniyelik son derece düşük gecikme süresine sahiptir. Ancak Nakliye Kümeleri hakkında konuştuğumuzda bir ila iki saniyelik gecikmeye bakıyoruz. CPO, hâlâ oldukça hızlı ve veri almanın ucuz bir yolu olabileceğini belirtti.

Bu çalışmanın bir sonraki adımı olarak hem Clowes hem de Kreps, Confluent’in APAC bölgesindeki varlığını büyütmek için “kendisini tanıtmayı” amaçladığını belirtti. Şirketin ABD dışındaki en büyük ikinci işgücüne halihazırda ev sahipliği yapan Hindistan’da, şirket çalışan sayısını %25 artırmayı planlıyor.

Ürün tarafında ise Clowes, veri yönetişimini iyileştirmeye, esasen sol yönetişimi değiştirmeye ve verilerin self-servis olmasını sağlayan verileri kataloglamaya yönelik yetenekleri araştırdıklarını ve bunlara yatırım yaptıklarını vurguladı. Bu unsurların, veri gölü dünyasına kıyasla akış dünyasında çok olgunlaşmamış olduğunu söyledi.

“Zamanla tüm ekosistemin akış alanındaki yönetim ve veri ürünlerine daha fazla yatırım yapacağını umuyoruz. Bunun gerçekleşeceğine çok inanıyorum. Sektör olarak bağlantı ve akışta, hatta akış işlemede yönetişim tarafında olduğundan daha fazla ilerleme kaydettik” dedi.