Microsoft destekli girişim, CPU’larda çalışan, göreve göre optimize edilmiş kurumsal yapay zeka modellerini piyasaya sürüyor

Daha düşük maliyetle daha iyi performans sağlayan ‘görev için optimize edilmiş’ modeller sağlama vaadiyle bugün, kurumsal yapay zeka odaklı yeni bir girişim, gizlilikten çıkıyor.

Fastino Merkezi San Francisco’da bulunan şirket ayrıca Insight Partners ve Microsoft’un Girişim Fonu M12’den ve Github CEO’su Thomas Dohmke’nin katılımından tohum öncesi finansman turunda 7 milyon dolar topladığını açıkladı. Fastino, geliştirici araçlarının yanı sıra kendi kurumsal yapay zeka modelleri ailesini de oluşturuyor. Modeller yenidir ve mevcut herhangi bir Büyük Dil Modeline (LLM) dayalı değildir. Çoğu üretken yapay zeka sağlayıcısı gibi Fastino’nun modelleri de bir transformatör mimarisine sahiptir, ancak doğruluğu ve kurumsal faydayı geliştirmek için tasarlanmış bazı yenilikçi teknikler kullanmaktadır. Diğer LLM sağlayıcılarının çoğundan farklı olarak Fastino’nun modelleri genel amaçlı CPU’larda iyi çalışır ve çalışması için yüksek maliyetli GPU’lara ihtiyaç duymaz.

Fastino fikri, kurucuların sektördeki kendi deneyimlerinden ve yapay zekayı geniş ölçekte dağıtma konusunda gerçek dünyadaki zorluklardan doğdu.

Şirketin CEO’su ve kurucu ortağı Ash Lewis, DevGPT olarak bilinen bir geliştirici aracı teknolojisi geliştiriyordu. Kurucu ortağı George Hurn-Maloney, daha önce 2023’te JFrog tarafından satın alınan Waterway DevOps’un kurucusuydu. Lewis, önceki şirketinin geliştirici temsilcisinin arka planda OpenAI kullandığını ve bunun bazı sorunlara yol açtığını açıkladı.

Lewis, “API’ye yılda bir milyon dolara yakın para harcıyorduk” dedi. “Bunun üzerinde gerçek bir kontrole sahip olduğumuzu hissetmedik.”

Fastino’nun yaklaşımı geleneksel büyük dil modellerinden bir kopuşu temsil ediyor. Şirket, genel amaçlı yapay zeka modelleri oluşturmak yerine, belirli kurumsal işlevlerde öne çıkan, göreve göre optimize edilmiş modeller geliştirdi.

Lewis, “Bütün fikir şu ki, eğer bu modellerin kapsamını daraltırsanız, onları daha az genel hale getirirseniz, böylece göreviniz için daha optimize olurlar, yalnızca kapsam dahilinde yanıt verebilirler,” diye açıkladı.

Görev optimize edilmiş model yaklaşımı kurumsal yapay zekaya nasıl daha fazla verimlilik getirebilir?

Belirli bir kullanım senaryosunu optimize etmek için daha küçük bir model kullanma kavramı tamamen yeni bir fikir değildir. Küçük Dil Modelleri (SLM) örneğin Microsoft’un Phi-2’si ve satıcılar bunu seviyor Arcee AI bir süredir bu yaklaşımı savunuyorlar.

Hurn-Maloney, Fastino’nun birçok nedenden ötürü modellerini SLM’ler yerine görev optimizasyonlu olarak adlandırdığını söyledi. Birincisi, onun görüşüne göre, “küçük” terimi çoğu zaman daha az doğru olma çağrışımını taşıyordu, ancak Fastino için durum böyle değil. Lewis, amacın aslında parametre sayısına göre sadece büyük veya küçük olan, genelci bir model olmayan yeni bir model kategorisi yaratmak olduğunu söyledi.

Fastino’nun modelleri genel modeller olmaktan ziyade göreve göre optimize edilmiştir. Amaç, modellerin kapsamını daha az geniş ve belirli kurumsal görevler için daha özelleştirilmiş hale getirmektir. Fastino, belirli görevlere odaklanarak modellerinin genel dil modellerine kıyasla daha yüksek doğruluk ve güvenilirlik elde edebildiğini iddia ediyor.

Bu modeller özellikle şu konularda üstündür:

• Metinsel verileri yapılandırma
• RAG (geri almayla artırılmış nesil) işlem hatlarını destekleme
• Görev planlama ve muhakeme
• İşlev çağrısı için JSON yanıtları oluşturma

Optimize edilmiş modeller, GPU’ya gerek olmadığı anlamına gelir ve kurumsal yapay zeka maliyetlerini düşürür

Fastino modellerinin önemli bir farklılığı, CPU’larda çalışabilmeleri ve GPU AI hızlandırıcı teknolojisinin kullanımını gerektirmemeleridir.

Fastino, bir dizi farklı teknik kullanarak CPU’lar üzerinde hızlı çıkarım yapılmasını sağlar.

Lewis, “Eğer tamamen basit terimlerden bahsediyorsak, daha az çarpma işlemi yapmanız gerekir” dedi. “Mimarideki tekniklerimizin çoğu, matris çarpımı gerektiren daha az görev yapmaya odaklanıyor.”

Modellerin saniyeler yerine milisaniyeler içinde yanıt verdiğini ekledi. Bu verimlilik, Raspberry Pi kadar mütevazı donanımlarda da başarılı dağıtımların sergilendiği uç cihazlara kadar uzanıyor.

“Birçok işletmenin TCO’ya baktığını düşünüyorum [total cost of ownership] Yapay zekayı uygulamalarına yerleştirdikleri için” diye ekledi Hurn-Maloney. ” Dolayısıyla pahalı GPU’ları denklemden çıkarma yeteneğinin de kesinlikle faydalı olduğunu düşünüyorum.”

Fastino’nun modelleri henüz genel kullanıma sunulmamıştır. Bununla birlikte şirket, ev ve otomotiv uygulamalarına yönelik Kuzey Amerika’daki büyük bir cihaz üreticisi de dahil olmak üzere tüketici cihazları, finansal hizmetler ve e-ticaret alanlarında sektör liderleriyle halihazırda çalışıyor.

Hurn-Maloney, “Şirket içinde çalıştırma yeteneğimiz, verileri konusunda oldukça hassas olan endüstriler için gerçekten çok iyi” diye açıkladı. “Bu modelleri şirket içinde ve mevcut CPU’larda çalıştırma yeteneği, finansal hizmetler, sağlık hizmetleri ve verilere daha duyarlı sektörler için oldukça cazip.”