Apple araştırmacıları ekran içeriğini ‘görebilen’ ve anlayabilen yapay zeka geliştiriyor

Cuma günü yayınlanan bir makaleye göre Apple araştırmacıları, ekrandaki varlıklara yönelik belirsiz referansların yanı sıra konuşma ve arka plan bağlamını da anlayabilen ve sesli asistanlarla daha doğal etkileşimler sağlayan yeni bir yapay zeka sistemi geliştirdi.

Sistem adı verildi ReALM (Dil Modelleme Olarak Referans Çözünürlüğü), ekrandaki görsel öğelere yapılan referansların anlaşılması da dahil olmak üzere karmaşık referans çözünürlüğü görevini saf bir dil modelleme problemine dönüştürmek için büyük dil modellerinden yararlanır. Bu, ReALM’in mevcut yöntemlere kıyasla önemli performans kazanımları elde etmesini sağlar.

Apple araştırmacılarından oluşan ekip, “Referanslar da dahil olmak üzere bağlamı anlayabilmek, bir konuşma asistanı için çok önemlidir” diye yazdı. “Kullanıcının ekranında gördükleriyle ilgili sorgulama yapmasına olanak sağlamak, sesli asistanlarda gerçek bir eller serbest deneyimi sağlamada çok önemli bir adımdır.”

Konuşma asistanlarının geliştirilmesi

Ekran tabanlı referansların üstesinden gelmek için ReALM’in önemli bir yeniliği, görsel düzeni yakalayan metinsel bir temsil oluşturmak için ayrıştırılmış ekran varlıklarını ve konumlarını kullanarak ekranı yeniden yapılandırmaktır. Araştırmacılar, bu yaklaşımın, özellikle referans çözümleme için dil modellerinin ince ayarıyla birleştirildiğinde, daha iyi performans gösterebileceğini gösterdi. GPT-4 görev üzerinde.

Araştırmacılar, “Farklı referans türlerinde benzer işlevlere sahip mevcut bir sisteme göre büyük iyileştirmeler sergiliyoruz; en küçük modelimiz, ekrandaki referanslarda %5’in üzerinde mutlak kazanç elde ediyor” diye yazdı. “Daha büyük modellerimiz GPT-4’ten önemli ölçüde daha iyi performans gösteriyor.”

Pratik uygulamalar ve sınırlamalar

Çalışma, gecikme veya bilgi işlem kısıtlamaları nedeniyle devasa uçtan uca modellerin kullanılmasının mümkün olmadığı üretim sistemlerinde referans çözünürlüğü gibi görevleri yerine getirmek için odaklanmış dil modellerinin potansiyelini vurguluyor. Apple, araştırmayı yayınlayarak Siri’yi ve diğer ürünleri daha anlaşılır ve bağlam odaklı hale getirmeye yönelik yatırımlarının devam ettiğinin sinyalini veriyor.

Yine de araştırmacılar, ekranların otomatik ayrıştırılmasına güvenmenin sınırlamaları olduğu konusunda uyarıyor. Birden fazla görüntü arasında ayrım yapmak gibi daha karmaşık görsel referansların ele alınması, muhtemelen bilgisayarlı görme ve çok modlu tekniklerin birleştirilmesini gerektirecektir.

Apple, rakipleri arttıkça yapay zeka açığını kapatmak için yarışıyor

Elma Yapay zeka araştırmalarında sessizce önemli ilerlemeler kaydediyoruzHızla ilerleyen yapay zeka ortamına hükmetme yarışında teknolojik rakiplerini geride bıraksa bile.

İtibaren Vizyon ve dili harmanlayan çok modlu modellerile Yapay zeka destekli animasyon araçlarıtekniklere Uygun bütçeyle yüksek performanslı, uzmanlaşmış yapay zeka oluşturmaŞirketin araştırma laboratuvarlarından gelen sürekli atılımlar, şirketin yapay zeka hedeflerinin hızla arttığını gösteriyor.

Ancak gizemli olmasıyla ünlü teknoloji devi, benzerlerinden gelen sıkı bir rekabetle karşı karşıya Google, Microsoft, Amazon Ve OpenAIArama, ofis yazılımı, bulut hizmetleri ve daha fazlasında üretken yapay zekayı agresif bir şekilde ürün haline getiren.

Uzun süredir ilk hamleden ziyade hızlı bir takipçi olan Apple, şimdi yapay zeka tarafından baş döndürücü bir hızla dönüştürülen bir pazarla karşı karşıya. Yakından izleniyor Dünya Çapında Geliştiriciler Konferansı Haziran ayında şirketin yeni bir geniş dil modeli çerçevesini açıklaması bekleniyor:Apple GPT’si” chatbot ve ekosistemindeki diğer yapay zeka destekli özellikler.

CEO, “Yapay zeka alanında devam eden çalışmalarımızın ayrıntılarını bu yılın sonlarında paylaşmaktan heyecan duyuyoruz” dedi. Tim Cook yakın zamanda şunu ima etti: bir kazanç çağrısında. Karakteristik opaklığına rağmen, Apple’ın yapay zeka çabalarının kapsamının geniş olduğu açıktır.

Ancak yapay zeka üstünlüğü mücadelesi kızışırken, iPhone üreticisinin partiye geç kalması onu alışılmışın dışında bir zayıflık durumuna soktu. Derin kasalar, marka sadakati, seçkin mühendislik ve sıkı bir şekilde entegre edilmiş ürün portföyü, ona büyük bir şans veriyor; ancak bu yüksek bahisli yarışmanın hiçbir garantisi yok.

Ufukta, her yerde ve gerçekten akıllı bilgi işlemde yeni bir çağ beliriyor. Haziran ayına gelindiğinde Apple’ın bunu şekillendirmede payının olmasını sağlayacak kadar çaba gösterip göstermediğini göreceğiz.