Sembolica, sembolik modellere bahis oynayarak yapay zeka silahlanma yarışının önüne geçmeyi umuyor

Şubat ayında, Google’ın DeepMind Yapay Zeka araştırma laboratuvarının CEO’su Demis Hassabis, günümüzde yaygın olarak kullanılan yapay zeka algoritması türlerine artan miktarda bilgi işlem uygulanmasının getirilerin azalmasına yol açabileceği konusunda uyardı. Hassabis, yapay zekanın “sonraki seviyesine” ulaşmanın bunun yerine günümüzün köklü yaklaşımlarına uygulanabilir alternatifler üreten temel araştırma atılımlarını gerektireceğini söyledi.

Eski Tesla mühendisi George Morgan da aynı fikirde. Tam da bunu yapmak için bir girişim olan Symica AI’yı kurdu.

Morgan, TechCrunch’a şunları söyledi: “Geleneksel derin öğrenme ve üretken dil modelleri, yararlı sonuçlar üretmek için hayal edilemeyecek ölçek, zaman ve enerji gerektirir.” “İnşa ederek [novel] Sembolica, daha düşük veri gereksinimleri, daha düşük eğitim süresi, daha düşük maliyet ve doğru olduğu kanıtlanabilir yapılandırılmış çıktılar ile daha fazla doğruluk elde edebiliyor.”

Morgan, Tesla’ya katılmak için Rochester’daki üniversiteyi bıraktı ve burada Tesla’nın gelişmiş sürücü destek özellikleri paketi Autopilot’u geliştiren ekipte çalıştı.

Morgan, Tesla’dayken, çoğu hesaplamayı büyütmeye yönelik olan mevcut yapay zeka yöntemlerinin uzun vadede sürdürülebilir olmayacağını fark ettiğini söylüyor.

Morgan, “Mevcut yöntemlerin çevirecek tek bir kadranı var: ölçeği artırmak ve ortaya çıkan davranışlar için umut.” dedi. “Ancak ölçeklendirme daha fazla bilgi işlem, daha fazla bellek, eğitmek için daha fazla para ve daha fazla veri gerektiriyor. Ama sonunda, [this] size önemli ölçüde daha iyi bir performans sağlamaz.”

Bu sonuca varan tek kişi Morgan değil.

Yarı iletken imalatçısı TSMC’nin iki yöneticisi bu yıl bir notta, yapay zeka trendi mevcut hızında devam ederse endüstrinin 1 trilyon transistörlü bir çipe – ortalamanın 10 katı transistör içeren bir çip – ihtiyaç duyacağını söyledi. çip bugün – on yıl içinde.

Bunun teknolojik olarak mümkün olup olmadığı belli değil.

Başka bir yerde, bağımsız bir yapay zeka araştırma enstitüsü olan Stanford ve Epoch AI tarafından ortak yazılan bir rapor, son teknoloji yapay zeka modellerini eğitmenin maliyetinin geçtiğimiz yıl önemli ölçüde arttığını ve değiştiğini ortaya koyuyor. Raporun yazarları, OpenAI ve Google’ın GPT-4 ve Gemini Ultra’yı eğitmek için sırasıyla yaklaşık 78 milyon dolar ve 191 milyon dolar harcadığını tahmin ediyor.

Maliyetlerin daha da artacağı düşünüldüğünde (OpenAI ve Microsoft’un 100 milyar dolarlık yapay zeka veri merkezi planlarına bakın) Morgan, “yapılandırılmış” yapay zeka modelleri dediği şeyi araştırmaya başladı. Bu yapılandırılmış modeller, geleneksel modeller gibi çok büyük veri kümelerinden elde edilen öngörüleri yaklaşık olarak tahmin etmeye çalışmak yerine, verilerin temel yapısını (dolayısıyla adı) kodlar ve daha az genel bilgi işlem kullanarak Morgan’ın daha iyi performans olarak tanımladığı şeye ulaşmalarını sağlar.

“Çok daha küçük modellerde alana özel yapılandırılmış akıl yürütme yetenekleri üretmek mümkündür” dedi ve “derin matematik araç setini derin öğrenmedeki atılımlarla birleştirerek” dedi.

Daha çok sembolik yapay zeka olarak bilinen yapılandırılmış modeller tam olarak yeni bir kavram değil. Onlarca yıl öncesine dayanıyorlar ve yapay zekanın bir dizi kural kullanarak bilgiyi temsil eden semboller üzerine inşa edilebileceği fikrine dayanıyorlar.

Sembolik yapay zeka, kelime işlemci yazılımındaki metin satırlarını düzenlemek gibi belirli işlere ayrılmış sembol işleme kural kümelerini tanımlayarak görevleri çözer. Bu, görevleri istatistiksel yaklaşımlar ve örneklerden öğrenme yoluyla çözmeye çalışan sinir ağlarının tam tersidir.

Sinir ağları, OpenAI’nin DALL-E 3 ve GPT-4 gibi güçlü yapay zeka sistemlerinin temel taşıdır. Ancak Morgan, bunların her şeyin sonu olmadığını iddia ediyor; Morgan, sembolik yapay zekanın aslında dünyanın bilgisini verimli bir şekilde kodlamak, karmaşık senaryolar arasında akıl yürütmek ve bir cevaba nasıl ulaştıklarını “açıklamak” için daha iyi bir konumda olabileceğini savunuyor.

Morgan, “Modellerimiz daha güvenilir, daha şeffaf ve daha hesap verebilir” dedi. “Yapılandırılmış muhakeme yeteneklerinin, özellikle mevcut tekliflerin yetersiz kaldığı durumlarda, büyük kod tabanları üzerinde muhakeme yapma ve faydalı kod üretme gibi kod üretimi için çok büyük ticari uygulamaları vardır.”

Sembolica’nın 16 kişilik ekibi tarafından tasarlanan ürünü, kod oluşturma ve matematik teoremlerini kanıtlama dahil olmak üzere belirli görevler için önceden eğitilmiş sembolik yapay zeka modelleri ve modelleri oluşturmaya yönelik bir araç setidir. Tam iş modeli değişim halindedir. Ancak Morgan, Sembolica’nın kendi teknolojilerini kullanarak özel modeller oluşturmak isteyen şirketlere danışmanlık hizmetleri ve destek sağlayabileceğini söyledi.

Morgan, “Şirket, büyük kurumsal ortaklar ve müşterilerle yakın işbirliği içinde çalışacak ve bireysel müşteri ihtiyaçlarına göre önemli ölçüde geliştirilmiş muhakeme yeteneklerine sahip özel yapılandırılmış modeller oluşturacak” dedi. “Ayrıca büyük kurumsal müşterilere son teknoloji kod sentezi modelleri geliştirip satacaklar.”

Bugün, Symica’nın gizlice piyasaya sürülmesi anlamına geliyor, bu nedenle şirketin müşterileri yok – en azından halka açık olarak hakkında konuşmaya istekli olduğu bir müşteri yok. Ancak Morgan, Sembolica’nın bu yılın başlarında Khosla Ventures liderliğinde 33 milyon dolarlık bir yatırım yaptığını açıkladı. Diğer yatırımcılar arasında Abstract Ventures, Buckley Ventures, Day One Ventures ve General Catalyst vardı.

33 milyon dolar az bir rakam değil; Sembolica’nın destekçileri, girişimin bilimine ve yol haritasına açıkça güveniyor. Khosla Ventures’ın kurucusu Vinod Khosla, e-posta yoluyla bana, Sembolica’nın “bugün AI endüstrisinin karşı karşıya olduğu en önemli zorluklardan bazılarıyla mücadele ettiğine” inandığını söyledi.

Khosla, “Büyük ölçekli ticari yapay zekanın benimsenmesini ve mevzuat uyumluluğunu mümkün kılmak için, daha az kaynakla daha fazla doğruluk elde edebilecek yapılandırılmış çıktılara sahip modellere ihtiyacımız var” dedi. “George, bunu gerçekleştirmek için sektördeki en iyi ekiplerden birini bir araya getirdi.”

Ancak diğerleri sembolik yapay zekanın ileriye doğru doğru yol olduğuna daha az inanıyor.

Os Keyes, Ph.D. Washington Üniversitesi’nde hukuk ve veri etiğine odaklanan aday, sembolik yapay zeka modellerinin yüksek düzeyde yapılandırılmış verilere dayandığını, bunun da onları hem “son derece kırılgan” hem de bağlama ve özgüllüğe bağımlı hale getirdiğini belirtiyor. Başka bir deyişle, Sembolik Yapay Zekanın çalışması için iyi tanımlanmış bilgiye ihtiyaç vardır ve bu bilginin tanımlanması oldukça emek yoğun olabilir.

Keyes, zorlu geometri problemlerini çözmek için sinir ağlarını sembolik yapay zekadan ilham alan bir algoritmayla birleştiren DeepMind’in yakın zamanda yayınlanan AlphaGeometry’sine atıfta bulunarak, “Derin öğrenme ve sembolik yaklaşımların avantajlarını birleştirirse bu yine de ilginç olabilir” dedi. “Ama bunu zaman gösterecek.”

“Örneğin, yazılım geliştirmeyi büyük ölçekte otomatikleştirmek gibi görevler, büyük kod veritabanlarını ayrıştırmak ve yararlı kodlar üretip yinelemek için resmi muhakeme yeteneklerine ve daha ucuz işletme maliyetlerine sahip modeller gerektirecektir” dedi. “Yapay zeka modelleri hakkındaki kamuoyu algısı hâlâ “ölçeğin ihtiyacınız olan tek şey olduğu yönünde.” Bu alanda ilerleme kaydetmek için sembolik düşünmek kesinlikle gereklidir; talepleri karşılamak için resmi akıl yürütme yeteneklerine sahip yapılandırılmış ve açıklanabilir çıktılar gerekli olacaktır.”

DeepMind gibi büyük bir yapay zeka laboratuvarının kendi sembolik yapay zeka veya hibrit modellerini oluşturmasını engelleyecek pek bir şey yok ve -Symbolica’nın farklılaştığı noktaları bir kenara bırakırsak- Symica son derece kalabalık ve iyi sermayelendirilmiş bir yapay zeka alanına giriyor. Ancak Morgan yine de büyüme öngörüyor ve San Francisco merkezli Sembolica’nın personelinin 2025 yılına kadar ikiye katlanmasını bekliyor.