Databricks, işletmelerin yüksek lisans eğitimleriyle geliştirme yapmasına yardımcı olmak için Mosaic AI’yi genişletiyor

Bir yıl önce Databricks, MosaicML’i 1,3 milyar dolara satın aldı. Artık Mosaic AI olarak yeniden markalanan platform, Databricks’in yapay zeka çözümlerinin ayrılmaz bir parçası haline geldi. Bugün şirket Veri + Yapay Zeka Zirvesi’nde hizmet için bir dizi yeni özelliği tanıtıyor. Duyurulardan önce Databricks’in kurucu ortakları CEO’su Ali Ghodsi ve CTO Matei Zaharia ile konuştum.

Databricks, konferansında beş yeni Mosaic AI aracını piyasaya sürüyor: Mosaic AI Agent Framework, Mosaic AI Agent Evaluation, Mosaic AI Tools Catalog, Mosaic AI Model Training ve Mosaic AI Gateway.

“Harika bir yıl oldu; Yapay Zeka Kuşağı’nda büyük gelişmeler yaşandı. Herkes bu konuda heyecanlı,” dedi Ghodsi bana. “Fakat herkesin umursadığı şeyler hâlâ aynı üç şey: Bu modellerin kalitesini veya güvenilirliğini nasıl yükseltebiliriz? İkincisi, maliyet açısından verimli olduğundan nasıl emin olabiliriz? Ve burada modeller arasında çok büyük bir maliyet farkı var; fiyatta çok büyük bir fark var. Üçüncüsü, verilerimizin gizliliğini koruyacak şekilde bunu nasıl yaparız?”

Bugünkü lansmanlar, Databricks müşterilerinin bu endişelerinin çoğunu gidermeyi amaçlıyor.

Zaharia ayrıca, artık büyük dil modellerini (LLM’ler) üretime uygulayan işletmelerin birden fazla bileşene sahip sistemler kullandığını da belirtti. Bu genellikle bir modele (veya birden fazla modele) birden fazla çağrı yaptıkları ve veritabanlarına erişmek veya artırılmış oluşturma (RAG) almak için çeşitli harici araçlar kullandıkları anlamına gelir. Bu bileşik sistemler, LLM tabanlı uygulamaları hızlandırır, belirli sorgular veya sonuçları önbelleğe almak için daha ucuz modeller kullanarak para tasarrufu sağlar ve belki de en önemlisi, temel modelleri özel verilerle güçlendirerek sonuçları daha güvenilir ve alakalı hale getirir.

“Bunun gerçekten yüksek etkili, görev açısından kritik yapay zeka uygulamalarının geleceği olduğunu düşünüyoruz” diye açıkladı. “Çünkü eğer düşünürseniz, gerçekten kritik bir görev yapıyorsanız, mühendislerin işin her yönünü kontrol edebilmesini istersiniz ve bunu modüler bir sistemle yaparsınız. Bunları yaratmanın en iyi yolunun ne olduğu konusunda birçok temel araştırma geliştiriyoruz. [systems] Belirli bir görev için geliştiricilerin onlarla kolayca çalışabilmesi, tüm parçaları birbirine bağlayabilmesi, her şeyin izini sürebilmesi ve neler olduğunu görebilmesi için.”

Bu sistemlerin fiilen oluşturulmasına gelince, Databricks bu hafta iki hizmeti başlatıyor: Mosaic AI Agent Framework ve Mosaic AI Tools Catalog. AI Agent Framework, şirketin geçen ay genel kullanıma sunulan sunucusuz vektör arama işlevini alıyor ve geliştiricilere bunun üzerine kendi RAG tabanlı uygulamalarını oluşturmaları için araçlar sağlıyor.

Ghodsi ve Zaharia, Databricks vektör arama sisteminin, klasik anahtar kelimeye dayalı aramayı yerleşik aramayla birleştiren hibrit bir yaklaşım kullandığını vurguladı. Bunların tümü Databricks veri gölüyle derinlemesine entegre edilmiştir ve her iki platformdaki veriler her zaman otomatik olarak senkronize halde tutulur. Bu, örneğin kişisel bilgilerin vektör arama hizmetine sızmamasını sağlamak için genel Databricks platformunun ve özellikle Databricks Unity Catalog yönetişim katmanının yönetim özelliklerini içerir.

Unity Kataloğu’ndan bahsederken (şirket artık yavaş yavaş açık kaynak kullanımına da başlıyor), Databricks’in artık bu sistemi, kuruluşların yanıtlar üretirken bu LLM’lerin hangi AI araçlarını ve işlevlerini çağırabileceğini yönetmesine izin verecek şekilde genişlettiğini belirtmekte fayda var. Databricks, bu kataloğun aynı zamanda bu hizmetleri şirket genelinde daha keşfedilebilir hale getireceğini söylüyor.

Ghodsi ayrıca geliştiricilerin artık tüm bu araçları kullanarak Langchain veya LlamaIndex kullanarak modelleri ve işlevleri birbirine zincirleyerek kendi aracılarını oluşturabileceklerini vurguladı. Gerçekten de Zaharia bana birçok Databricks müşterisinin bugün zaten bu araçları kullandığını söyledi.

“Bu şeyleri, hatta aracı benzeri iş akışlarını bile kullanan pek çok şirket var. Sanırım insanlar bu kadar çok kişi olduğuna şaşırıyorlar ama işlerin gidiş yönü bu gibi görünüyor. Platformumuzdaki yardımcı uygulamalar gibi dahili yapay zeka uygulamalarımızda da bunları oluşturmanın yolunun bu olduğunu gördük” dedi.

Databricks, bu yeni uygulamaları değerlendirmek için aynı zamanda yapay zekanın üretimde ne kadar iyi performans gösterdiğini test etmek için LLM tabanlı jüri üyelerini birleştiren, aynı zamanda kuruluşların kullanıcılardan hızlı bir şekilde geri bildirim almasına (ve bazı başlangıç ​​veri kümelerini de etiketlerler). Aracı Değerlendirmesi, Databricks’in bu yılın başlarında Lilac’ı satın almasına dayanan ve kullanıcıların çok büyük metin veri kümelerini görselleştirmesine ve aramasına olanak tanıyan bir kullanıcı arayüzü bileşeni içeriyor.

“Sahip olduğumuz her müşteri şunu söylüyor: Şirket içinde bazı etiketlemeler yapmam gerekiyor, bunu bazı çalışanlara yaptıracağım. Sadece 100 cevaba ya da 500 cevaba ihtiyacım var ve bunu LLM jürisine sunabiliriz,” diye açıkladı Ghodsi.

Sonuçları iyileştirmenin bir başka yolu da ince ayarlı modeller kullanmaktır. Bunun için Databricks artık Mosaic AI Model Eğitimi hizmetini sunuyor; bu hizmet, tahmin ettiğiniz gibi, kullanıcılarının belirli görevlerde daha iyi performans göstermelerine yardımcı olmak için kuruluşlarının özel verileriyle modellerde ince ayar yapmalarına olanak tanıyor.

Son yeni araç, şirketin “herhangi bir açık kaynak veya özel modeli sorgulamak, yönetmek ve dağıtmak için birleşik bir arayüz” olarak tanımladığı Mosaic AI Gateway’dir. Buradaki fikir, merkezi bir kimlik bilgisi deposu kullanarak kullanıcıların herhangi bir LLM’yi yönetilen bir şekilde sorgulamasına olanak sağlamaktır. Sonuçta hiçbir kuruluş mühendislerinin üçüncü taraf hizmetlere rastgele veri göndermesini istemez.

Bütçelerin küçüldüğü zamanlarda AI Ağ Geçidi, BT’nin maliyetleri yönetilebilir tutmak amacıyla farklı satıcılar için ücret limitleri belirlemesine de olanak tanır. Ek olarak, bu kuruluşlar daha sonra bu sistemlerde hata ayıklamak için kullanım izleme ve izleme olanağına da sahip olur.

Ghodsi’nin bana söylediği gibi, tüm bu yeni özellikler Databricks kullanıcılarının artık Yüksek Lisans’larla nasıl çalıştıklarına bir tepki. “Son çeyrekte ve bir buçuk yılda pazarda büyük bir değişimin gerçekleştiğini gördük. Geçen yılın başında konuştuğunuz herkes şunu söylerdi: Biz açık kaynak uzmanıyız, açık kaynak harika. Ancak insanları gerçekten zorladığınızda, Açık Yapay Zeka kullanıyorlardı. Herkes ne söylerse söylesin, ne kadar açık kaynağın muhteşem olduğunu söylese de perde arkasında Açık Yapay Zeka kullanıyordu.” Artık bu müşteriler çok daha karmaşık hale geldi ve açık modeller kullanıyor (tabii ki çok azı gerçek anlamda açık kaynaklı), bu da onların, beraberinde gelen sorunları ve fırsatları ele almak için tamamen yeni bir dizi araç benimsemelerini gerektiriyor. O.