Kod testi girişimi Nova AI neden açık kaynaklı LLM’leri OpenAI’den daha fazla kullanıyor?

Kodu oluşturan geliştiricilerin onu test edecek kişiler olmaması insan doğasının evrensel bir gerçeğidir. Her şeyden önce, çoğu bu görevden oldukça nefret ediyor. İkincisi, her iyi denetim protokolünde olduğu gibi, işi yapanlar bunu doğrulayanlar olmamalıdır.

Dolayısıyla, kod testinin tüm biçimleriyle (kullanılabilirlik, dil veya göreve özel testler, uçtan uca testler) giderek büyüyen üretken yapay zeka startupları kadrosunun odak noktası haline gelmesi şaşırtıcı değil. TechCrunch her hafta şöyle bir konuyu ele alıyor: Antitez (47 milyon dolar topladı); CodiumAI (11 milyon dolar topladı) QA Wolf (20 milyon dolar topladı). Y Combinator’dan yeni mezun olanlar gibi her zaman yenileri ortaya çıkıyor Anlık.

Bir diğeri, 1 milyon dolarlık bir ön tohumlama turu toplayan, Olağandışı Akademi hızlandırıcı mezunu olan eski bir girişim olan Nova AI. Kurucu CEO Zach Smith, TechCrunch’a yaptığı açıklamada, şirketin yeni kurulan şirketlerin nasıl çalışması gerektiğine ilişkin Silikon Vadisi kurallarının çoğunu çiğneyerek uçtan uca test araçlarıyla rakiplerini alt etmeye çalıştığını söylüyor.

Standart Y Combinator yaklaşımı küçük başlamak olsa da Nova AI, karmaşık kod tabanlarına ve acil ihtiyaçlara sahip orta ve büyük ölçekli işletmeleri hedefliyor. Smith, e-ticaret, fintech veya tüketici ürünlerinde çoğunlukla geç aşamadaki (C serisi veya sonrası) girişim destekli girişim destekli girişimler ve “yoğun kullanıcı deneyimleri” dışında, ürününü kullanan veya test eden müşterilerin isimlerini vermeyi reddetti. Bu özelliklerin kesintiye uğraması maliyetlidir.”

Nova AI teknolojisi, GenAI kullanarak otomatik olarak testler oluşturmak için müşterilerinin kodlarını inceliyor. Özellikle mühendislerin üretim kodlarına sürekli olarak parça ve parça gönderdiği sürekli entegrasyon ve sürekli teslim/dağıtım (CI/CD) ortamlarına yöneliktir.

Nova AI fikri, Smith ve kurucu ortağı Jeffrey Shih’in büyük teknoloji şirketlerinde çalışan mühendisler oldukları dönemde yaşadıkları deneyimlerden geldi. Smith, müşterilerin birçok otomasyon teknolojisini kullanmasına yardımcı olan bulutla ilgili ekiplerde çalışmış eski bir Google çalışanıdır. Shih daha önce Meta’da (bundan önce de Unity ve Microsoft’ta) sentetik verileri içeren nadir bir yapay zeka uzmanlığıyla çalışmıştı. O zamandan beri üçüncü bir kurucu ortak olan AI veri bilimciyi eklediler Henry Li.

Nova AI’nin uymadığı başka bir kural: Bir sürü AI startup’ı OpenAI’nin sektör lideri GPT’sinin üzerine kurulurken Nova AI, OpenAI’nin Chat GPT-4’ünü mümkün olduğunca az kullanıyor, yalnızca bazı kod üretmesine ve bazı etiketleme görevlerini yapmasına yardımcı olmak için . OpenAI’ye hiçbir müşteri verisi beslenmiyor.

Smith, OpenAI’nin ücretli bir iş planına sahip olanların verilerinin modellerini eğitmek için kullanılmayacağının sözünü vermesine rağmen işletmelerin hala OpenAI’ye güvenmediğini söylüyor. Smith, “Büyük kuruluşlarla konuştuğumuzda, ‘Verilerimizin OpenAI’ye girmesini istemiyoruz’ diyorlar” dedi.

Bu şekilde hisseden yalnızca büyük şirketlerin mühendislik ekipleri değil. OpenAI savunuyor bir dizi davadan vazgeçildi çalışmalarının model eğitimi için kullanılmasını istemeyenlerden veya çalışmalarının çıktılarında izinsiz ve ücretsiz olarak sonlandırıldığına inananlardan.

Nova AI bunun yerine büyük ölçüde Meta tarafından geliştirilen Llama gibi açık kaynaklı modellere güveniyor ve Yıldız Kodlayıcı (ServiceNow ve Hugging Face tarafından geliştirilen BigCoder topluluğundan) ve kendi modellerini oluşturmanın yanı sıra. Smith, henüz Google’ın Gemma’sını müşterilerle kullanmadıklarını, ancak bunu test ettiklerini ve “iyi sonuçlar gördüklerini” söylüyor.

Örneğin, OpenAI GPT4’ün yaygın bir kullanımının, LLM modellerinin anlamsal arama için vektörleri kullanabilmesi amacıyla veriler üzerinde “vektör yerleştirmeler üretmek” olduğunu açıklıyor. Vektör yerleştirmeler, metin parçalarını sayılara çevirir, böylece LLM bunları diğer benzer metin parçalarıyla kümelemek gibi çeşitli işlemleri gerçekleştirebilir. Nova AI, müşterinin kaynak kodunda bunun için OpenAI’nin GPT4’ünü kullanıyor ancak OpenAI’ye herhangi bir veri göndermemek için elinden geleni yapıyor.

Smith, “Bu durumda, OpenAI’nin yerleştirme modellerini kullanmak yerine, kendi açık kaynaklı yerleştirme modellerimizi dağıtıyoruz, böylece her dosyayı incelememiz gerektiğinde, onu yalnızca OpenAi’ye göndermekle kalmıyoruz” diye açıkladı.

Smith, müşteri verilerinin OpenAI’ye gönderilmemesinin gergin işletmeleri rahatlattığını, ancak açık kaynaklı yapay zeka modellerinin de daha ucuz olduğunu ve hedeflenen belirli görevleri yerine getirmek için fazlasıyla yeterli olduğunu buldu. Bu durumda test yazmak için iyi çalışırlar.

“Açık LLM endüstrisi, gerçekten dar görüşlü olduğunuzda GPT 4’ü ve bu büyük alan adı sağlayıcılarını yenebileceklerini gerçekten kanıtlıyor” dedi. “Büyükannenizin doğum günü için ne istediğini size söyleyebilecek devasa bir model sunmak zorunda değiliz. Sağ? Bir test yazmamız gerekiyor. Ve bu kadar. Bu nedenle modellerimiz özellikle buna göre ayarlandı.”

Açık kaynak modelleri de hızla ilerlemektedir. Örneğin Meta yakın zamanda teknoloji çevrelerinde övgüler kazanan ve daha fazla yapay zeka startup’ını OpenAI alternatiflerine bakmaya ikna edebilecek yeni bir Llama sürümünü tanıttı.