Guardrails AI, GenAI model sorunları için kitle kaynaklı düzeltmeler yapmak istiyor

GenAI’nin gerçekleri ve yalanları dile getirmesi çok fazla zaman almaz.

Geçtiğimiz hafta, Microsoft ve Google’ın sohbet robotlarının, daha oyun başlamadan Super Bowl’un kazananını ilan etmesiyle bir örnek ortaya çıktı. Ancak asıl sorunlar, GenAI’nin halüsinasyonları zararlı hale geldiğinde başlıyor; işkenceyi onaylamak, etnik ve ırksal stereotipleri güçlendirmek ve komplo teorileri hakkında ikna edici bir şekilde yazmak.

Nvidia ve Salesforce gibi yerleşik şirketlerden CalypsoAI gibi yeni girişimlere kadar giderek artan sayıda satıcı, GenAI’nin istenmeyen, toksik içeriğini azaltabileceğini iddia ettikleri ürünler sunuyor. Ama bunlar kara kutular; Her birini bağımsız olarak test etmedikçe, halüsinasyonla mücadele eden bu ürünlerin nasıl karşılaştırıldığını ve gerçekten iddiaları karşılayıp karşılamadığını bilmek imkansız.

Shreya Rajpal bunu büyük bir sorun olarak gördü ve bunu çözmeye çalışmak için Guardrails AI adında bir şirket kurdu.

Rajpal, TechCrunch’a bir e-posta röportajında ​​şunları söyledi: “Çoğu kuruluş, AI uygulamalarını sorumlu bir şekilde dağıtma ve en iyi ve en etkili çözümün ne olduğunu bulma konusunda aynı sorunlarla mücadele ediyor.” “Genellikle kendileri için önemli olan riskleri yönetmek açısından tekerleği yeniden icat ediyorlar.”

Rajpal’a göre anketler, karmaşıklığın ve buna bağlı olarak riskin kuruluşların GenAI’yi benimsemesinin önünde duran en büyük engel olduğunu öne sürüyor.

Intel’in yan kuruluşu Cnvrg.io tarafından yakın zamanda yapılan bir anket, uyumluluk ve gizlilik, güvenilirlik, yüksek uygulama maliyeti ve teknik beceri eksikliğinin, GenAI uygulamalarını uygulayan şirketlerin yaklaşık dörtte biri tarafından paylaşılan endişeler olduğunu ortaya çıkardı. Risk yönetimi yazılımı sağlayıcısı Riskonnect’in yaptığı ayrı bir ankette yöneticilerin yarısından fazlası, çalışanların GenAI araçlarından gelen yanlış bilgilere dayanarak kararlar vermesinden endişe duyduklarını söyledi.

Daha önce otonom sürüş girişimi Drive.ai’de çalışan ve Apple’ın Drive.ai’yi satın almasının ardından Apple’ın özel projeler grubunda çalışan Rajpal, Diego Oppenheimer, Safeer Mohiuddin ve Zayd Simjee ile birlikte Guardrails’ı kurdu. Oppenheimer daha önce bir makine öğrenimi operasyon platformu olan Algorithmia’yı yönetirken Mohiuddin ve Simjee, AWS’de teknoloji ve mühendislik alanında liderlik rollerini üstleniyorlardı.

Bazı yönlerden Guardrails’in sunduğu şey halihazırda piyasada olanlardan pek de farklı değil. Startup’ın platformu, GenAI modellerini, özellikle açık kaynaklı ve tescilli (örn. OpenAI’nin GPT-4) metin üreten modellerini görünüşte daha güvenilir, güvenilir ve emniyetli hale getirmek için bir sarmalayıcı görevi görüyor.

Ancak Guardrails’in farklı olduğu nokta, açık kaynaklı iş modelidir (platformun kod tabanı GitHub’da mevcuttur, kullanımı ücretsizdir) ve kitle kaynaklı yaklaşımdır.

Guardrails Hub adı verilen bir pazar aracılığıyla Guardrails, geliştiricilerin belirli davranış, uyumluluk ve performans ölçümleri için GenAI modellerini araştıran “doğrulayıcılar” adı verilen modüler bileşenler göndermesine olanak tanır. Doğrulayıcılar, diğer geliştiriciler ve Guardrails müşterileri tarafından dağıtılabilir, yeniden kullanılabilir ve yeniden kullanılabilir; böylece özel GenAI model denetleme çözümleri için yapı taşları görevi görebilir.

“Hub ile amacımız bilgiyi paylaşmak ve bilgiyi paylaşmanın en etkili yolunu bulmak için açık bir forum oluşturmaktır. [further] Yapay zekanın benimsenmesi – ama aynı zamanda herhangi bir kuruluşun benimseyebileceği bir dizi yeniden kullanılabilir korkuluk inşa etmek de gerekiyor” dedi Rajpal.

Guardrails Hub’daki doğrulayıcılar, basit kural tabanlı kontrollerden modellerdeki sorunları tespit etmeye ve azaltmaya yönelik algoritmalara kadar çeşitlilik gösterir. Şu anda halüsinasyon ve politika ihlali dedektörlerinden, özel bilgiler ve güvenli olmayan kod filtrelerine kadar değişen yaklaşık 50 tane var.

Rajpal, “Çoğu şirket küfür, kişisel olarak tanımlanabilir bilgiler vb. için geniş, herkese uyan tek boyutlu kontroller yapacak” dedi. “Ancak, belirli bir kuruluş ve ekip için neyin kabul edilebilir kullanımı oluşturduğuna dair evrensel bir tanım yoktur. Takip edilmesi gereken kuruluşa özgü riskler vardır; örneğin kuruluşlar arasındaki iletişim politikaları farklıdır. Hub ile insanların kullanıma hazır sunduğumuz çözümleri kullanmalarına veya bunları kendi özel ihtiyaçlarına göre daha da özelleştirebilecekleri güçlü bir başlangıç ​​noktası çözümü elde etmek için kullanmalarına olanak sağlıyoruz.”

Model korkuluklar için bir göbek ilgi çekici bir fikirdir. Ancak içimdeki şüpheci kişi, geliştiricilerin bir tür tazminat vaadi olmadan bir platforma (ve bu konuda yeni ortaya çıkan bir platform) katkıda bulunma zahmetine girip girmeyeceğini merak ediyor.

Rajpal, tanınmaktan başka bir neden olmasa bile sektörün “daha güvenli” GenAI’ye doğru ilerlemesine özverili bir şekilde yardımcı olacakları konusunda iyimser bir görüşe sahip.

“Hub, geliştiricilerin diğer kuruluşların karşılaştığı risk türlerini ve bu riskleri çözmek ve azaltmak için yerleştirdikleri korkulukları görmelerine olanak tanıyor” diye ekledi. “Doğrulayıcılar, kuruluşların kendi kullanım senaryolarına uygulayabileceği korkulukların açık kaynaklı bir uygulamasıdır.”

Henüz herhangi bir hizmet veya yazılım için ücret talep etmeyen Guardrails AI, yakın zamanda Zetta Venture Partners liderliğindeki Factory, Pear VC, Bloomberg Beta, Github Fund ve ünlü AI uzmanı Ian Goodfellow’un da dahil olduğu açılardan katılımla gerçekleşen bir tohum turunda 7,5 milyon dolar topladı. Rajpal, gelirlerin Guardrails’in altı kişilik ekibini genişletmeye ve ek açık kaynak projelerine aktarılacağını söyledi.

“Güvence eksikliği ve risk azaltma gerekliliği nedeniyle GenAI uygulamalarını sunma konusunda sıkışıp kalan işletmeler, küçük girişimler ve bireysel geliştiriciler gibi pek çok kişiyle konuşuyoruz” diye devam etti. “Bu, ChatGPT’nin ve temel modellerin her yerde ortaya çıkması nedeniyle bu ölçekte var olmayan yeni bir sorundur. Bu sorunu çözen taraf olmak istiyoruz.”