Üretken yapay zeka uygulamalarını kötü niyetli istemlerden ve diğer tehditlerden korumak için teknoloji geliştiren İsviçreli bir girişim olan Lakera, Avrupalı risk sermayesi şirketi Atomico’nun liderliğindeki A Serisi turda 20 milyon dolar topladı.
Üretken yapay zeka, ChatGPT gibi popüler uygulamaların yönlendirdiği, gelişen yapay zeka hareketinin poster çocuğu olarak ortaya çıktı. Ancak büyük ölçüde güvenlik ve veri gizliliğiyle ilgili sorunlar nedeniyle kurumsal ortamlarda endişe kaynağı olmaya devam ediyor.
Bağlam açısından, büyük dil modelleri (LLM’ler) üretken yapay zekanın arkasındaki motorlardır ve makinelerin tıpkı bir insan gibi metni anlamasını ve oluşturmasını sağlar. Ancak böyle bir uygulamanın ister bir şiir yazmasını ister bir hukuki sözleşmeyi özetlemesini isteyin, çıktısını yönlendirecek talimatlara ihtiyacı vardır. Bununla birlikte, bu “istemler”, uygulamayı eğitmek için kullanılan gizli verileri ifşa etmek veya özel sistemlere yetkisiz erişim sağlamak gibi, yapması gerekmeyen bir şeyi yapması için uygulamayı kandıracak şekilde oluşturulabilir. Bu tür “hızlı enjeksiyonlar” gerçek ve giderek büyüyen bir endişedir ve Lakera’nın özellikle bu sorunu çözmeye çalıştığı bir konudur.
Ani cevap
2021 yılında Zürih’te kurulan Lakera, kuruluşları veri sızıntısı veya hızlı enjeksiyonlar gibi LLM güvenlik zayıflıklarından koruma vaadiyle geçen Ekim ayında 10 milyon dolarlık bir fonla resmi olarak faaliyete geçti. OpenAI’nin GPT-X’i, Google’ın Bard’ı, Meta’nın LLaMA’sı ve Anthropic’in Claude’u da dahil olmak üzere herhangi bir LLM ile çalışır.
Lakera özünde üretken yapay zeka uygulamalarına giren ve çıkan trafiği güvence altına alan “düşük gecikmeli yapay zeka uygulama güvenlik duvarı” olarak tasarlandı.
Şirketin ilk ürünü Lakera Guard, Hugging Face’te barındırılanlar gibi kamuya açık “açık kaynak” veri kümeleri, şirket içi makine öğrenimi araştırması ve merak uyandıran etkileşimli bir oyun da dahil olmak üzere sayısız kaynaktan elde edilen bilgileri bir araya getiren bir veritabanı üzerine inşa edilmiştir. Kullanıcıları gizli bir şifreyi açığa çıkarmak için kandırmaya davet eden Gandalf adlı bir yazılım geliştirildi.
Seviyeler ilerledikçe oyun daha karmaşık hale gelir (ve dolayısıyla “hacklenmesi” daha zor olur). Ancak bu etkileşimler, Lakera’nın bu tür saldırıları kategorilere ayıran “hızlı enjeksiyon taksonomisi” adını verdiği şeyi oluşturmasına olanak sağladı.
Lakera’nın kurucu ortağı ve CEO’su David Haber, TechCrunch’a şunları söyledi: “Yapay zekaya öncelik veriyoruz ve gerçek zamanlı hızlı enjeksiyonlar gibi kötü amaçlı saldırıları tespit etmek için kendi modellerimizi oluşturuyoruz.” “Modellerimiz sürekli olarak büyük miktardaki üretken yapay zeka etkileşimlerinden, kötü niyetli etkileşimlerin neye benzediğini öğreniyor. Sonuç olarak dedektör modellerimiz, ortaya çıkan tehdit ortamıyla birlikte sürekli olarak gelişiyor ve gelişiyor.”
Lakera, uygulamalarını Lakera Guard API ile entegre ederek şirketlerin kötü niyetli istemlere karşı daha iyi koruma sağlayabileceğini söylüyor. Bununla birlikte şirket, nefret söylemi, cinsel içerik, şiddet ve küfür için özel dedektörlerle istemleri ve uygulama çıktılarını zehirli içerik açısından tarayan özel modeller de geliştirdi.
Haber, “Bu dedektörler özellikle sohbet robotları gibi halka açık uygulamalar için kullanışlıdır ancak diğer ortamlarda da kullanılır” dedi.
Şirketler, hızlı savunma araç setine benzer şekilde, Lakera’nın içerik denetleme akıllılarını tek bir kod satırıyla entegre edebiliyor ve içerik türüne göre ayarlamak istedikleri eşiklere ince ayar yapmak için merkezi bir politika kontrol panosuna erişim sağlayabiliyor.
Bankadaki 20 milyon dolarlık yeni bakiyeyle Lakera, küresel varlığını özellikle ABD’de genişletmeye hazırlanıyor. Şirket halihazırda Kuzey Amerika’da ABD merkezli yapay zeka girişimi Respell’in yanı sıra Kanadalı da dahil olmak üzere çok sayıda yüksek profilli müşteriye sahip olduğunu iddia ediyor. mega tek boynuzlu at Cohere.
Haber, “Büyük işletmeler, SaaS şirketleri ve yapay zeka model sağlayıcılarının tümü, güvenli yapay zeka uygulamaları sunmak için yarışıyor” dedi. “Finansal hizmet kuruluşları güvenlik ve uyumluluk risklerinin farkındadır ve ilk benimseyenlerdir, ancak sektörler genelinde ilgi görüyoruz. Çoğu şirket, rekabetçi kalabilmek için GenAI’yi temel iş süreçlerine dahil etmeleri gerektiğini biliyor.”
Lakera’nın A Serisi turuna lider destekçi Atomico’nun yanı sıra Dropbox’ın VC kolu, Citi Ventures ve Redalpine de katıldı.
Kaynak: https://techcrunch.com/2024/07/24/lakera-which-protects-enterprises-from-llm-vulnerabilities-raises-20m/