Kolena, AI modellerini ve ince ayarlı varyantları test etmek için platformunu piyasaya sürüyor

Operasyonlarında yapay zeka modellerini (çalışanların veya müşterilerin kullanması için) kullanmak isteyen işletmeler için en kritik sorulardan biri, hangi modelin veya ne için kullanılacağı değil, daha ziyade hangi modelin veya ne için kullanılacağıdır. Ne zaman seçtikleri modelin dağıtımı güvenlidir.

Arka uçta ne kadar test yapılması gerekiyor? Ne tür testler yapılmalı? Sonuçta, çoğu şirket muhtemelen müşteri desteği için ChatGPT’yi kullanan bazı araba bayilerinde gördüğümüz utanç verici (ama yine de komik) aksiliklerden kaçınmak ister. kullanıcılar onları 1 dolara araba satmayı kabul etmeleri için kandırıyor.

Modellerin ve özellikle de yapay zeka modellerinin ince ayarlı versiyonlarının nasıl test edileceğini bilmek, başarılı bir dağıtım ile ilk bakışta başarısız olan ve şirketin itibarına ve mali açıdan zarar veren bir dağıtım arasındaki fark olabilir. DizlerEski bir Amazon kıdemli mühendislik yöneticisi tarafından ortaklaşa kurulan San Francisco merkezli üç yıllık bir girişim olan , bugün “AI sistemlerinin hızlı, doğru bir şekilde test edilmesini ve doğrulanmasını sağlamak” için tasarlanmış bir web uygulaması olan AI Quality Platform’un geniş çapta yayınlandığını duyurdu. .”

Bu içerir “veri kalitesi, model testi ve A/B testinin yanı sıra zaman içinde veri kayması ve model bozulmasının izlenmesi.” Ayrıca hata ayıklama da sunar.

Kolena’nın kurucu ortağı ve CEO’su Mohamed Elgendy, Venturebeat ile yaptığı özel görüntülü sohbet röportajında, “İşletmelerde yapay zekanın benimsenmesinin önünü açmak için bu sorunu çözmeye karar verdik” dedi.

Elgendy, daha önce Japon e-ticaret devi Rakuten’de yapay zeka platformu mühendislik başkan yardımcısı ve aynı zamanda makine öğrenimi odaklı röntgen bölümünde mühendislik başkanı olarak çalışmış olduğundan, işletmelerin yapay zekayı test etmeye ve dağıtmaya çalışırken karşılaştığı sorunlara ilk elden baktı. makine tehdidi dedektörü Synapse ve Amazon’da kıdemli bir mühendislik yöneticisi.

Kolena’nın Yapay Zeka Kalite Platformu nasıl çalışır?

Kolena’nın çözümü, gerçek dünyadaki kullanım durumları için güvenli, güvenilir ve adil yapay zeka sistemleri oluşturma konusunda yazılım geliştiricilerini ve BT personelini desteklemek üzere tasarlandı.

Veri kümelerinden ayrıntılı test senaryolarının hızlı bir şekilde geliştirilmesine olanak sağlayarak, bir modelin kritik görevlerdeki performansını gizleyebilecek toplu istatistiksel ölçümlerin ötesine geçerek, gerçek dünyada karşılaşacakları senaryolarda AI/ML modellerinin yakından incelenmesini kolaylaştırır.

Kolena’nın her müşterisi, kullanmak istediği modeli API’sine bağlar ve müşteriye kendi yapay zekası için kendi veri kümesini ve dağıtıldığında modelinin nasıl çalışmasını istediğine ilişkin (metin, görüntü, vb.) kod, ses veya diğer içerik.

Ayrıca, her müşteri önyargı ve yaş, ırk, etnik köken çeşitliliği ve düzinelerce ölçümden oluşan listeler gibi niteliklere göre ölçüm yapmaya karar verebilir. Kolena, modelin istenmeyen sonuçlar üretip üretmediğini, eğer öyleyse, ne sıklıkta ve hangi koşullar altında olduğunu görmek için yüzlerce veya binlerce etkileşimi simüle eden model üzerinde testler gerçekleştirecek.

Ayrıca modelleri, sağlayıcı veya müşteri tarafından güncellendikten, eğitildikten, yeniden eğitildikten, ince ayar yapıldıktan veya değiştirildikten sonra, kullanım ve dağıtım sırasında yeniden test eder.

Elgendy, “Testler yapacak ve modelinizin tam olarak nerede bozulduğunu size söyleyecektir” dedi. “Kolena denklemin tahmin kısmını çıkarıp onu yazılım gibi gerçek bir mühendislik disiplinine dönüştürüyor.”

Yapay zeka sistemlerini test etme yeteneği yalnızca işletmeler için değil, yapay zeka modeli sağlayıcı şirketlerin kendileri için de faydalıdır. Elgendy, yakın zamanda Google’ın Gemini’sinin tartışma konusu ırksal olarak karışık ve hatalı görüntüler ürettiği için, dağıtımdan önce şirketinin Yapay Zeka Kalite Platformu testinden faydalanabilirdi.

Fortune 500 şirketleri ve startup’larla iki yıllık kapalı beta testi

Kolena, hedeflerine uygun olarak, diğer AI modellerini test etmede ne kadar iyi çalıştığına ilişkin kendi kapsamlı testlerini yapmadan Yapay Zeka Kalite Platformunu piyasaya sürmüyor.

Şirket, son 24 ay boyunca platformu müşterilere kapalı beta olarak sunuyor ve kullanım senaryolarına, ihtiyaçlarına ve geri bildirimlerine göre platformu geliştiriyor.

Elgendy, “Bilinmeyenler ve bilinmeyen-bilinmeyenler listesini tanımlamamıza yardımcı olan seçilmiş bir müşteri grubuyla kasıtlı olarak çalıştık” dedi.

Bu müşteriler arasında yeni kurulan şirketler, Fortune 500 şirketleri, devlet kurumları ve yapay zeka standardizasyon enstitüleri yer alıyor. Elgendy açıkladı.

Halihazırda bu kapalı beta müşteri grubu, Kolena’nın platformu aracılığıyla AI modelleri üzerinde “onbinlerce” test gerçekleştirdi.

İleriye dönük olarak Elgendy, Kolena’nın üç kategorideki müşterileri takip ettiğini söyledi: 1. Yapay zeka temel modellerinin “yapıcıları” 2. teknoloji alanındaki alıcılar 3. teknoloji dışındaki alıcılar — Elgendy, Kolena’nın birlikte çalıştığı bir şirketin geniş bir dil modeli sağladığını belirtti ( LLM) fast food arabalı servislerine bağlanıp sipariş alabilecek bir çözüm. Bir diğer hedef pazar: otonom araç üreticileri.

Kolena’nın Yapay Zeka Kalite Platformu, bir hizmet olarak yazılım (SaaS) modeline göre fiyatlandırılır; bir şirketin veri kalitesinin incelenmesinden bir modelin eğitilmesine ve son olarak da bir şirketin büyümesini yapay zeka ile takip etmek için tasarlanan üç kademeli artan fiyatlar bulunur. , konuşlandırıyoruz.