Brilliant Labs’ın Çerçeve gözlükleri çok modlu yapay zeka asistanı olarak hizmet ediyor

Mükemmel LaboratuvarlarYapay zekalı gözlüklerin geliştiricisi, entegre çok modlu yapay zeka asistanına sahip dünyanın ilk gözlüğü olan Frame’i piyasaya sürdü.

Giyilebilir teknolojideki bu sıçrama, AR öncüsü ve şirketi Pokémon Go’yu yapan Niantic CEO’su John Hanke’nin önemli desteğiyle birleşiyor. Mükemmel Laboratuvarlar bugüne kadar 6 milyon dolar topladı.

Pokémon Go’nun zenginlikleri yapay zeka gözlük endüstrisine yardım etmek için geri geliyor.

Danışmanlar ve yatırımcılar arasında artık Coho VC, Brendan Iribe (Oculus’un kurucu ortağı), Adam Cheyer (Siri’nin kurucu ortağı), Eric Migicovsky (Pebble’ın kurucusu), Steve Sarowitz (Paylocity’nin kurucusu ve Wayfarer Studios’un başkanı), Nirav Patel yer alıyor. (Oculus’un eski çekirdek ekip üyesi ve Framework’ün kurucusu), Francisco Tolmasky (orijinal iPhone ekibinin üyesi), Tak ve Çalıştır Ventures ve Moveon Technologies.

Eski Apple yöneticisi ve Brilliant Labs CEO’su Bobak Tavangar’ın liderliğinde Frame, günlük yaşamda paradigma değişimi olarak adlandırdığı şeyi başlattı. Şirket, Iron Man’in Jarvis’ine benzer şekilde Noa adında her zaman açık bir yapay zeka asistanıyla donatılan Frame’in yalnızca dünyayı algılayışımızı dönüştürmekle kalmayıp aynı zamanda fiziksel çevreyle olan etkileşimlerimizi de yeniden tanımladığını söyledi.

Tavangar yaptığı açıklamada, “Frame, insanların dijital dünyayla ve birbirleriyle etkileşim kurma biçiminde gerçekten yeni bir paradigma sunuyor” dedi. “Tamamen yeni bir yapay zeka sanal asistanı türü olan Noa, kullanıcılara çevrelerindeki dünyayla daha az değil, daha fazla etkileşim kurma gücü veriyor. Umudumuz, Frame’in insanların birbirleriyle tamamen yeni yollarla bağlantı kurmasını sağlaması ve günlük yaşamda, işyerinde, sınıfta ve daha fazlasında yeni deneyimlerin önünü açmasıdır. Bu, üretken yapay zekayı insan gözünün önüne getirmenin eşsiz vaadidir.”

GPT4, Stability AI ve Whisper AI modelini aynı anda çalıştırabilen entegre çok modlu üretken yapay zeka sistemiyle desteklenen Noa, gerçek dünya görsel işleme, yeni görüntü oluşturma ve gerçek zamanlı konuşma tanıma ve çeviri işlemlerini gerçekleştiriyor. Frame’in çok modlu özelliği, birden fazla yapay zeka sisteminin işbirliği yapmasını sağlayarak bu teknoloji için günlük yaşamda sınırsız uygulamaların kilidini açar.

Çerçeve sadece bir teknoloji harikası değil aynı zamanda bir moda ifadesidir. İkonik dairesel gözlük takarken kültürü şekillendiren John Lennon, Steve Jobs ve Gandhi gibi tarihi figürlere saygı duruşunda bulunuyor. Frame, gelişmiş teknolojiyi, geleneksel gözlüklerden neredeyse ayırt edilemeyen hafif, şık bir pakette kusursuz bir şekilde birleştirir.

Kendi başına herhangi bir artırılmış gerçeklik özelliği yoktur. Bunun yerine Frame, çıktının görülebildiği ve/veya gözlüklerin LLM’ler için gerçek dünya girişi olarak kullanılabildiği yapay zeka gömülü gözlükler olarak tasarlandı. Normalde şu anda insanlar, örneğin gerçekten arayüz oluşturmak için ChatGPT’ye içerik yazacak veya yükleyecektir. Artık gözlüğünüzdeki Yüksek Lisans’lar sayesinde, gerçek dünyadaki girdiler aracılığıyla (ne gördüğünüz, ne duyduğunuz ve herhangi bir anda nerede olduğunuz gibi) bunu yönlendirebilirsiniz.

Kişiliğe Sahip Multimodal Yapay Zeka Asistanı

Şirket, Frame’in şık dış yüzeyinin altında, türünün tek örneği, her zaman açık bir yapay zeka asistanı olan Noa’nın yattığını söyledi. Noa, gizliliği koruyan bir bilgi grafiği aracılığıyla kullanıcı ile yapay zeka asistanı arasındaki birleşik etkileşimleri analiz ederek benzersiz bir kişilik geliştirir ve benimser.

Etkinleştirmenin ardından kullanıcılar Noa’ya, sanal bir evcil hayvanı anımsatan, yumurtadan çıkmaya hazır dijital bir “yumurta” olarak tanıtılır. Bir dizi soruyu yanıtlayarak Noa’nın avatarı, kullanıcının kişiliğini ve Noa’nın benimseyeceği kişiliği yansıtan bir karaktere dönüşür. Brilliant Labs, Noa’nın hem kullanıcıya hem de aldığı görevlere öğrenip uyum sağlamasıyla bu kişiliğin daha belirgin hale geldiğini söyledi.

Noa’nın yetenekleri, kitap sayfalarını özetlemeye ve yabancı metinleri tercüme etmeye ve meslektaşları için beyaz tahta oturumlarını yapılandırmaya kadar uzanır. Frame’in yerleşik çok modlu üretken yapay zekası, duygusal duyguları ve yüz işaretlerini görsel ve akustik olarak ölçmek gibi gelişmiş görevler için birden fazla yapay zeka sistemini düzenlemesine olanak tanır.

Şirket, kişisel yardımın ötesinde, Frame’in yapay zeka destekli gözlük çağında arama motoru konseptini yeniden tanımladığını da söyledi. Noa, perakende mağazalardaki giyim ürünlerini tarayarak anında fiyat kontrolü sağlayabiliyor veya ev arama sırasında bir evin girişini ona bakarak tanımlayabiliyor. Olasılıklar çok geniştir ve insan etkileşimlerini ve deneyimlerini geliştirmeyi vaat etmektedir.

Gözlüklerden ayırt edilemeyecek şekilde tasarlandı

Yalnızca 39 gram ağırlığındaki Frame, konfor ve dayanıklılık için mühendislik sınıfı naylon plastik kullanılarak üretilmiştir. Smokey Black, Matte Cool Gray gibi renk seçenekleri ve H2O adlı şeffaf versiyonuyla klasik vintage tarzıyla sunulan Frame, her gardırobun tarzına uyum sağlayacak şekilde tasarlandı.

Cihaz, 3.000 nit parlaklığa sahip yüksek çözünürlüklü canlı bir ekrana, öne bakan bir uzaysal kameraya, entegre bir mikrofona ve gelişmiş işlevsellik için bir 6DoF IMU’ya sahiptir.

AddOptics ile ortaklaşa sağlanan numaralı lensler, benzersiz bir optik lens döküm işlemiyle Frame’e sorunsuz bir şekilde birleştirilebilir. Çerçeve, Mart 2024’te 300 ABD Doları perakende fiyatıyla ön siparişe sunulacak.

Geliştiriciler için açık kaynak modelinin sürdürülmesi

Şirketin önceki ürünü, Tek gözlük, ilk siparişlerinin tamamı tükendi. Brilliant Labs artık Frame’in hem tüketiciler hem de geliştiriciler için satışına ve kullanılabilirliğine odaklanacak.

Brilliant Labs, Frame’in selefi Monocle’ın ayak izlerini takip etmesi nedeniyle açık kaynaklı cihazlara bağlı olduğunu söyledi. Geliştiriciler, Brilliant Labs tarafından sunulan canlı belgeler, açık kaynak kod tabanı ve donanım şemaları dahil olmak üzere tüm kaynaklarla Frame’in donanımını ve yazılımını keşfedebilir ve değiştirebilir. Noa’nın desteklediği yapay zeka modellerinin parametreleri de geliştiriciler tarafından ayarlanabiliyor.

Siri’nin kurucu ortağı ve Brilliant Labs yatırımcısı Adam Cheyer yaptığı açıklamada, “Brilliant Labs’in Monocle ile başlayan ve şimdi de Frame’in piyasaya sürülmesiyle çığır açan ilerlemesi ilham verici” dedi. “Günlük kullanım için hem güzel hem de pratik bir tasarıma sahip olan Brilliant Labs’ Frame, toplumun işleyiş yapısını değiştirecek yeni bir çağa başlamanın ilk adımıdır. Frame, yerleşik yapay zeka asistanı Noa’nın yardımıyla bilgileri organize etme, erişme ve bu bilgilere göre hareket etme konusunda insan kapasitemizi geliştirebilir. Genişletilebilir ve açık yapay zeka platformu sayesinde Brilliant Labs, iPhone çağının başlangıcını hatırlatan yeni bir eller serbest uygulama dalgasını tanıtabilir.”

Brilliant Labs, 2019 yılında eski Apple çalışanı Tavangar ve kurucu ortaklar Raj Nakarja ve Ben Heald tarafından kuruldu. Şirketin üç çalışanı var.

Videoya gelince, Frame video kaydedebilir ve fotoğraf çekebilir. Ancak bu, öncelikle Snapchat’in Spectacles’ına benzemek yerine multimodal AI özelliğini kullanma amacına yöneliktir. Örneğin, bir arkadaşınızın benzerliğini yeniden düzenlemek istiyorsanız, onun yönüne bakıp bir fotoğraf çekebilir ve Frame’in onun benzerliğini nasıl yeniden düzenlemesi gerektiğini yönetebilirsiniz.

Frame (Noa aracılığıyla), söz konusu çekimin yeni bir versiyonunu oluşturmak için GPT4 ve Stability AI ile Stabil Difüzyon’dan yararlanacak. Ve çıktı alındıktan sonra görüntü (Frame aracılığıyla görebilirsiniz) kullanımdan sonra silinerek temizlenir. Frame, Snapchat veya Meta gibi herhangi bir görüntüyü/videoyu saklamaz. Dolayısıyla videonun veya fotoğrafın amacı daha çok yapay zeka işlevine yöneliktir, daha az sosyal medya kullanımına yöneliktir.