Databricks, yapay zeka aracılarının değerlendirilmesini kolaylaştırmak için sentetik verileri nasıl kullanıyor?

İşletmeler her şeyiyle devam ediyor bileşik AI ajanları. Bu sistemlerin farklı alanlardaki farklı görevleri yerine getirmesini ve akıl yürütmesini istiyorlar, ancak çoğu zaman aracı performansını değerlendirmenin karmaşık ve zaman alıcı süreci nedeniyle boğuluyorlar. Bugün veri ekosistemi lideri Veri tuğlaları duyuruldu geliştiriciler için bunu biraz daha kolaylaştırmak için sentetik veri yetenekleri.

Şirkete göre bu hamle, geliştiricilerin, geliştirme aşamasındaki aracı sistemlerin performansını değerlendirmek için iş akışları içerisinde yüksek kaliteli yapay veri kümeleri oluşturmalarına olanak tanıyacak. Bu onların konunun uzmanlarıyla gereksiz ileri geri konuşmalarını önleyecek ve temsilcileri üretime daha hızlı getirebilecektir.

Sentetik veri teklifinin Databricks Intelligence platformunu kullanan kuruluşlar için tam olarak nasıl çalışacağı henüz belli olmasa da Ali Ghodsi liderliğindeki şirket, dahili testlerinin çeşitli ölçümlerde aracı performansını önemli ölçüde artırabildiğini gösterdiğini iddia ediyor.

Databricks’in yapay zeka aracılarını değerlendirme oyunu

Veri tuğlaları MosaicML’i geçen yıl satın aldı ve şirketin teknolojisini tamamen entegre etti ve modeller Kuruluşlara, şirketin göl evinde barındırılan verilerini kullanarak makine öğrenimi (ML) ve üretken yapay zeka çözümleri oluşturmak, dağıtmak ve değerlendirmek için ihtiyaç duydukları her şeyi sağlamak üzere Veri Zekası platformu genelinde.

Bu çalışmanın bir kısmı, ekiplerin yalnızca mantık yürütüp doğru yanıt verebilen değil, aynı zamanda destek bildirimlerini açma/kapatma, e-postalara yanıt verme ve rezervasyon yapma gibi eylemleri de gerçekleştirebilen bileşik yapay zeka sistemleri oluşturmasına yardımcı olmak etrafında dönüyor. Bu amaçla şirket bir bütünü açıkladı. bu yıl yeni Mosaic AI yetenekleri paketitemel modellerin ince ayarına yönelik destek, yapay zeka araçlarına yönelik bir katalog ve yapay zeka aracılarının oluşturulması ve değerlendirilmesine yönelik teklifler (Mosaic AI Aracı Çerçevesi ve Aracı Değerlendirmesi) dahil.

Bugün şirket, Temsilci Değerlendirmesini yeni bir sentetik veri oluşturma API’si ile genişletiyor.

Şu ana kadar Agent Evaluation kuruluşlara iki temel yetenek sağladı. Birincisi, kullanıcıların ve konu uzmanlarının (KOBİ’ler) ilgili soru ve yanıtları içeren veri kümelerini manuel olarak tanımlamasına ve AI aracıları tarafından sağlanan yanıtların kalitesini derecelendirmek için bir tür ölçüt oluşturmasına olanak tanır. İkincisi, KOBİ’lerin aracıyı değerlendirmek ve geri bildirim (etiketler) sağlamak için bu ölçütü kullanmasını sağlar. Bu, insanlardan gelen yanıtları ve geri bildirimleri otomatik olarak bir tabloya kaydeden ve aracının kalitesini doğruluk ve zararlılık gibi ölçümlere göre derecelendiren yapay zeka yargıçları tarafından desteklenmektedir.

Bu yaklaşım işe yarar ancak değerlendirme veri kümelerinin oluşturulması süreci çok zaman alır. Nedenlerini tahmin etmek kolaydır: Alan uzmanları her zaman mevcut olmayabilir; süreç manueldir ve kullanıcılar genellikle başarılı etkileşimlerin ‘altın’ örneklerini sağlamak için en alakalı soru ve cevapları belirlemekte zorluk çekebilirler.

Sentetik veri oluşturma API’si tam da bu noktada devreye giriyor ve geliştiricilerin birkaç dakika içinde ön değerlendirme için yüksek kaliteli değerlendirme veri kümeleri oluşturmasına olanak tanıyor. KOBİ’lerin çalışmalarını nihai doğrulamaya indirir ve geliştiricilerin sistemdeki permütasyonların (modelleri ayarlama, geri getirmeyi değiştirme veya araç ekleme) kaliteyi nasıl değiştirdiğini kendilerinin keşfedebileceği yinelemeli geliştirme sürecini hızlandırır.

Şirket, API’den oluşturulan veri kümelerinin aracıların değerlendirilmesine ve iyileştirilmesine nasıl yardımcı olabileceğini görmek için dahili testler gerçekleştirdi ve bunun çeşitli ölçümlerde önemli iyileştirmelere yol açabileceğini kaydetti.

Databricks’in yapay zeka platformu ve ürün lideri Eric Peter, VentureBeat’e şunları söyledi: “Bir araştırmacıdan, bir aracının performansını değerlendirmek ve iyileştirmek için sentetik verileri kullanmasını istedik ve ardından ortaya çıkan aracıyı, insan tarafından seçilen verileri kullanarak değerlendirdik.” “Sonuçlar, çeşitli ölçümlerde temsilcinin performansının önemli ölçüde arttığını gösterdi. Örneğin, temsilcinin ilgili belgeleri bulma becerisinde neredeyse 2 kat artış gözlemledik (geri çağırma@10 ile ölçüldüğü üzere). Ayrıca temsilcinin yanıtlarının genel doğruluğunda da iyileşmeler gördük.”

Nasıl öne çıkıyor?

varken bol miktarda araç Değerlendirme için sentetik veri kümeleri oluşturabilen Databricks’in teklifi, Mosaic AI Agentic Evaluation ile sıkı entegrasyonuyla öne çıkıyor; bu, şirketin platformunu kullanan geliştiricilerin iş akışlarından ayrılmak zorunda kalmadıkları anlamına geliyor.

Peter, yeni API ile veri kümesi oluşturmanın dört adımlı bir süreç olduğunu belirtti. Geliştiricilerin yalnızca belgelerini ayrıştırması (bunları gölevlerinde Delta Tablosu olarak kaydetmesi), Delta Tablosunu sentetik veri API’sine aktarması, oluşturulan verilerle değerlendirmeyi çalıştırması ve kalite sonuçlarını görüntülemesi gerekir.

Buna karşılık, harici bir araç kullanmak, çalıştırma (çıkarma, dönüştürme ve yükleme () dahil olmak üzere birkaç ek adım anlamına gelir (ETL) ayrıştırılan belgeleri sentetik veri oluşturma sürecini çalıştırabilecek harici bir ortama taşımak; oluşturulan verilerin Databricks platformuna geri taşınması; daha sonra bunu Agent Evaluation tarafından kabul edilen bir formata dönüştürüyoruz. Ancak bundan sonra değerlendirme yapılabilir.

Peter, “Şirketlerin, kullanımı kolay, anahtar teslimi bir API’ye (veri oluşturmak için tek satır kod) ihtiyaç duyduğunu biliyorduk” diye açıkladı. “Ayrıca piyasadaki pek çok çözümün, kaliteye göre ayarlanmamış basit açık kaynaklı istemler sunduğunu da gördük. Bunu aklımızda tutarak, oluşturulan verilerin kalitesine önemli bir yatırım yaptık ve aynı zamanda geliştiricilerin komut istemine benzer bir arayüz aracılığıyla ardışık düzeni kendi benzersiz kurumsal gereksinimlerine göre ayarlamalarına olanak sağladık. Son olarak, mevcut tekliflerin çoğunun mevcut iş akışlarına aktarılması gerektiğini ve bunun da sürece gereksiz karmaşıklık kattığını biliyorduk. Bunun yerine Databricks Veri Zekası Platformu ve Mosaic AI Aracı Değerlendirme yetenekleriyle sıkı bir şekilde entegre olan bir SDK oluşturduk.”

Databricks’i kullanan çok sayıda kuruluş, özel bir önizlemenin parçası olarak sentetik veri API’sinden halihazırda yararlanıyor ve aracılarının kalitesini artırmak ve bunları üretime dağıtmak için gereken sürede önemli bir azalma olduğunu bildiriyor.

Bu müşterilerden biri, Yapay Zeka Direktörü Chris Nishnick’tir. Lippertekiplerinin, uzmanları dahil etmeden önce bile göreceli model yanıt kalitesini %60 oranında artırmak için API verilerini kullanabildiklerini söyledi.

İşlem hattında daha aracı merkezli yetenekler

Bir sonraki adım olarak şirket, Mosaic AI Agent Evaluation’ı, etki alanı uzmanlarının sentetik verileri daha fazla doğruluk için değiştirmelerine yardımcı olacak özelliklerin yanı sıra yaşam döngüsünü yönetmeye yönelik araçlarla genişletmeyi planlıyor.

Peter, “Ön izlememizde müşterilerin birkaç ek özellik istediğini öğrendik” dedi. “Öncelikle, alan uzmanlarının sentetik değerlendirme verilerini incelemesi ve düzenlemesi için bir kullanıcı arayüzü istiyorlar. İkinci olarak, değişiklikleri takip etmek ve geliştiricilerin anında erişebileceği verilere ilişkin alan uzmanı incelemesinden güncellemeler yapmak için değerlendirme setlerinin yaşam döngüsünü yönetecek ve yönetecek bir yol istiyorlar. Bu zorlukların üstesinden gelmek için, önümüzdeki yılın başlarında piyasaya sürmeyi planladığımız çeşitli özellikleri müşterilerimizle zaten test ediyoruz.”

Genel anlamda gelişmelerin Databrick’in Mosaic AI teklifinin benimsenmesini artırması ve şirketin veri ve genel yapay zeka ile ilgili her konuda başvurulacak satıcı konumunu daha da güçlendirmesi bekleniyor.

Ancak Snowflake de bu kategoriye yetişiyor ve bir dizi ürün duyurusu yaptı. Anthropic ile model ortaklığıonun için Cortex AI İşletmelerin nesil yapay zeka uygulamaları oluşturmasına olanak tanıyan ürün. Bu yılın başlarında Snowflake ayrıca gözlemlenebilirlik girişimini de satın aldı TruEra Cortex’te yapay zeka uygulama izleme yetenekleri sağlamak.