Databricks, yapay zeka uygulamalarına yönelik veri kalitesi çalışmalarını güçlendirmek amacıyla Lilac’ı satın aldı

Bugün, Veri tuğlaları satın aldığını duyurdu Leylak, veri anlama ve işleme için araçlar sunan, Boston merkezli bir uygulamalı araştırma girişimi. anlaşma şartları açıklanmadı.

Ali Ghodsi liderliğindeki veri devi, Lilac’ın ekibini ve teknolojisini daha önce veri göl evi olarak bilinen veri zekası platformuna getirmeyi planlıyor ve böylece etki alanları arasındaki kullanıcılara, üretim kalitesinde büyük dil modeli geliştirmek için veri kümelerinin kalitesini artırmanın daha kusursuz bir yolunu sunuyor. (LLM) başvuruları.

Anlaşma, Databricks’in yalnızca veriler için değil aynı zamanda üretken yapay zeka ile ilgili her şey için tek adres olma yönündeki son çabası olarak geliyor. Aynı zamanda yakın zamanda Mistral’a açıklanmayan bir miktar yatırım yaptıGeçen yıl Avrupa’nın en büyük tohum toplama turunu gerçekleştiren ve gen yapay zeka alanında güçlü bir oyuncu haline gelen üretken yapay zeka girişimi.

Lilac, verileri keşfetmeyi nasıl kolaylaştıracak?

Ne zaman Databricks, Mosaic AI’yi satın aldı Geçen yıl yapılan büyük bir anlaşmayla şirket, vitesi, kullanıcıların üretken yapay zeka uygulamaları oluşturmak için platformunda barındırılan verileri güvenli bir şekilde kullanacağı, yapay zeka odaklı bir geleceğe doğru kaydırdı. O zamandan bu yana şirket, bu alanda çeşitli geliştirmeler yaptı ve hatta müşterilere, farklı iş kullanım durumlarını hedefleyen yüksek kaliteli büyük dil modeli (LLM) uygulamaları oluşturmaları, dağıtmaları ve sürdürmeleri için ihtiyaç duydukları her şeyi sunmak üzere birden fazla açık model piyasaya sürdü.

Ancak sektörde yaygın olarak söylendiği gibi veriler, LLM sistemleri de dahil olmak üzere tüm yapay zeka çabaları için kritik olmaya devam ediyor. Takımların sahip olduklarından emin olmaları gerekir. modelleri eğitmek için yüksek kaliteli veriler önyargı ve halüsinasyonlar gibi yönleri de kapsayacak şekilde gerçek dünyada nasıl performans gösterdiklerini test etmenin yanı sıra. Lilac’ın Databricks’e yardım ettiği ve çözeceği konu da budur.

Geleneksel olarak ekipler, araştırma yapmak için zaman alıcı manuel yöntemler kullanmak zorunda kalıyordu. yapılandırılmamış veri ve boşluklarını giderin. Eski Google mühendisleri Daniel Smilkov ve Nikhil Thorat tarafından 2023 yılında kurulan Lilac, yapılandırılmamış metin verilerini geniş ölçekte analiz etmek, anlamak ve değiştirmek için sezgisel bir kullanıcı arayüzü ve yapay zeka odaklı özellikler sunan ölçeklenebilir bir açık kaynaklı çözümle bu zorluğun üstesinden geliyor.

Şirketin web sitesine göre, veri bilimcileri ve yapay zeka araştırmacıları, Lilac ile yapılandırılmamış verileri işlerken, kümeleme ve dokümanlara kategori atama, anlamsal ve anahtar kelime aramaları gerçekleştirme, kişisel bilgileri veya kopyaları tespit etmeye ve bunları kaldırmak için gerekli düzenlemeleri yapmaya kadar birçok şey yapabilirler ( karşılaştırma görünümüyle) ve veri kümesini uyarlayın.

“Lilac’ın arkasındaki ekip, ürünlerini önyargı veya toksisite açısından model çıktılarının analizini ve verilerin hazırlanmasını sağlamak için özel olarak geliştirdi. RAG ve ince ayar veya ön eğitim LLM’leriDatabricks yöneticileri Matei Zaharia, Naveen Rao, Jonathan Frankle, Hanlin Tang ve Akhil Gupta şunları yazdı: ortak blog yazısı.

Lilac’ın tüm teknoloji yığınının, geliştiricilere özel nesil yapay zeka sistemleri için veri kümelerini daha iyi düzenlemenin bir yolunu sunmak amacıyla Databricks’in Mosaic yapay zeka araçları kapsamına gireceğini eklediler. Entegrasyonun ayrıntıları bu aşamada açıklanmasa da aynı işi yapacak: ekiplerin LLM’lerinin çıktılarını değerlendirmesini ve izlemesini kolaylaştırmak için veri uyarlamayı basitleştirmenin yanı sıra RAG, ince ayar ve ön hazırlık için veri kümeleri hazırlamak. -eğitim.

“Lilac’ın gerçek zamanlı, etkileşimli veri iyileştirme deneyiminin Databricks’in kurumsal ölçekteki platformuna getirilmesinin, işletmelerin yapılandırılmamış verileri üzerinde çok daha fazla görünürlük ve kontrol sahibi olmalarını sağlayacağına inanıyoruz. Bu, son kullanıcılara hizmet veren birinci sınıf, özelleştirilebilir yapay zeka ürünlerine olanak tanıyacak. Databricks ile güçlerini birleştirmek, tamamen yeni bir kurumsal geliştirici sınıfının, yalnızca birkaç tıklamayla üretken yapay zeka ile verilerinin potansiyelini açığa çıkarmasına olanak tanıyacak.” İnternet sitesi.

Yukarıda da belirtildiği gibi bu satın alma, Databricks’in müşterilerine kendi verilerini kullanarak yüksek kaliteli yapay zeka uygulamaları geliştirmeleri için uçtan uca araçlar sağlama yönünde önemli bir adıma işaret ediyor. Şu an itibariyle Databricks platformundaki kullanıcılar, LLM destekli sistemler oluşturmak için ihtiyaç duydukları her şeye sahipler.

Buna Meta, Stabilite ve Mistral gibi oyuncuların açık modellerinin yanı sıra bunlarla denemeler yapmak, bunları optimize edilmiş model uç noktaları olarak kullanmak veya platformda barındırılan özel verilerle (Mosaic AI Foundation Model Adaptation) özelleştirmek için özel Mosaic araçları da dahildir. özel kullanım durumu.

Şirketin en büyük rakibi Snowflake de aynı yönde ilerliyor ve Korteksmüşterilerinin güçlü açık modellerle desteklenen uygulamalar oluşturmasına yardımcı olan, tümüyle yönetilen bir hizmet.