Meta AI test edildi: Kendi varlığını tam olarak haklı çıkarmaz, ancak ücretsiz ücretsizdir

Meta’nın yeni geniş dil modeli Llama 3, sosyal medya ve reklamcılık şirketinin mümkün olduğunca çok sayıda uygulamasına ve arayüzüne kurduğu, yaratıcı bir şekilde adlandırılan “Meta AI” adlı yeni sohbet robotunu güçlendiriyor. Bu model diğer çok amaçlı konuşma yapay zekalarıyla nasıl karşılaştırılıyor? Pek çok web arama sonucunu yeniden ortaya çıkarma eğilimindedir ve hiçbir konuda üstün değildir, ancak hey – fiyat doğru.

Şu anda Meta AI’ya Meta.ai adresinden, Instagram’dan, Facebook’tan, WhatsApp’tan ve eğer bunlar yeterli değilse muhtemelen birkaç yerden daha ücretsiz olarak erişebilirsiniz. Daha önce de mevcuttu ancak Llama 3 ve yeni Imagine görüntü oluşturucunun (Google’ın Imagen’iyle karıştırılmaması gereken) piyasaya sürülmesi, Meta’nın bunu yapay zeka meraklılarının ilk durağı olarak tanıtmasına yol açtı. Sonuçta, arama kutunuzu bununla değiştirdikleri için muhtemelen kazara kullanacaksınız!

Mark Zuckerberg, Meta AI’nın “dünyanın en çok kullanılan ve en iyi AI asistanı” olmasını beklediğini bile söyledi. Hedeflerin olması önemlidir.

“İnceleme” sürecimiz hakkında kısa bir hatırlatma: Bu, modelin son derece resmi olmayan bir değerlendirmesidir; sentetik kıyaslamalarla değil, yalnızca normal insanların sorabileceği sıradan sorular sorar ve sonuçları diğer modellerle olan deneyimimizle veya yalnızca sizin bildiklerinizle karşılaştırır. birinden almayı umuyordum. Kapsamlı olmaktan çok uzak bir şey ama herkesin anlayabileceği ve kopyalayabileceği bir şey.

Yöntemimizi olduğu gibi buradan okuyabilirsiniz:

Yaklaşımımızı her zaman değiştiriyor ve ayarlıyoruz ve bazen bulduğumuz tuhaf bir şeyi dahil edeceğiz veya gerçekten alakalı görünmeyen şeyleri hariç tutacağız. Örneğin, bu sefer, medya üretimini değerlendirmemeye çalışmak genel politikamız olmasına rağmen (bu tamamen başka bir solucan kutusu), meslektaşım Ivan, Imagine modelinin Hintli insanlar etrafında bir dizi önyargıyı gösterdiğini fark etti. Bu makaleyi kısa süre içinde yayınlayacağız (Meta zaten elimizde olabilir).

Ayrıca, başlangıçta bir PSA olarak, Instagram’daki bariz bir hatanın, gönderdiğim sorguları silmemi engellediğinin farkında olmalısınız. Böylece arama geçmişinizde görünmesini istemeyeceğiniz herhangi bir şeyi sormaktan kaçınırdım. Ayrıca web sürümü benim için Firefox’ta çalışmadı.

Haberler ve güncel olaylar

İlk olarak Meta AI’ye İsrail ile İran arasında neler olup bittiğini sordum. Yalnızca tek bir CNN makalesine atıfta bulunmasına rağmen, tarihleri ​​de içeren kısa, madde işaretli bir listeyle yanıt verdi. Denediğim diğer birçok istem gibi, bu da web arayüzündeyken bir Bing aramasına ve Instagram’da bir Google aramasına bağlantıyla bitiyor. Meta’ya sordum ve bir sözcü bunların temelde arama promosyonu ortaklıkları olduğunu söyledi.

(Bu gönderideki görseller yalnızca referans amaçlıdır ve yanıtın tamamını göstermeyebilir.)

Resim Kredisi: Meta/TechCrunch Meta yapay zekanın bir şekilde Bing’in kendi yapay zeka modelini (Microsoft da OpenAI’den ödünç alıyor) sırtına alıp almadığını kontrol etmek için tıklayıp önerilen sorguya verilen Copilot yanıtına baktım. Ayrıca hemen hemen aynı bilgileri içeren, ancak daha iyi satır içi bağlantılara ve daha fazla alıntıya sahip madde işaretli bir liste de vardı. Kesinlikle farklı.

Meta AI’nın yanıtı, özellikle anlamlı olmasa da gerçekçi ve günceldi. Mobil yanıt çok daha sıkıştırılmış ve kaynaklara ulaşmak daha zor olduğundan burada kısaltılmış bir yanıt alacağınızı unutmayın.

Daha sonra Tiktok’ta bir ebeveynin bilmesi gereken yeni trendler olup olmadığını sordum. İçerik oluşturucuların sosyal ağda yaptıklarına ilişkin üst düzey bir özet ile yanıt verdi, ancak güncel bir şey yok. Evet, insanların Tiktok’ta “Komedi skeçleri: Esprili, bağ kurulabilir veya parodi içeriği” yaptıklarının farkındayım, teşekkürler.

İlginç bir şekilde, Instagram’daki trendler hakkında benzer bir soru sorduğumda, “Reels ile yanıt vermek konuşmalar yaratır” ve “Yapay zeka yeni fırsatlar yaratır” ve “Metin gönderileri ‘gramda başarılı olur” gibi pazarlama tipi ifadeler kullanarak iyimser bir yanıt aldım. Yaratıcısının platformları hakkında adil olmayan bir şekilde olumlu davrandığını düşünmüştüm, ancak hayır; Hootsuite’ten gelen, kelime kelime, SEO yemi olan bir Instagram trend gönderisi olduğu ortaya çıktı.

Meta’nın Instagram’daki yapay zekasına Instagram’daki trendler hakkında soru sorarsam, biraz daha ilginç bir şey beklerdim. Eğer arkadaşımı okumak isteseydim onu ​​arardım.

Tarih ve bağlam

Meta AI’dan, 19. yüzyılın sonlarında Yüksek Mahkeme kararları üzerine yaptığım iddia edilen bazı araştırmalar için bazı birincil kaynakları bulmama yardım etmesini istedim.

Yanıtı, büyük ölçüde, 19. yüzyıldan kalma bir dizi önemli kararı listeleyen, zararsız ancak birincil olmayan SEO ile hazırlanmış bir gönderiye dayanıyordu. Tam olarak istediğim şey bu değildi ve sonunda aynı zamanda o dönemin sol eğilimli bir partisi olan Halk Partisi’nin 1896 tarihli kuruluş belgesini de listeliyordu. Bunun aslında Yüksek Mahkeme ile hiçbir ilgisi yok ancak Meta AI, bazı yargıçların partiye karşıt görüşlere sahip olduğunu açıklayan bu sayfadan alıntı yapıyor. Garip ve alakasız bir katılım.

Diğer modeller dönemin eğilimlerine ilişkin bağlam ve özetler sağlıyordu. Meta AI’yı araştırma asistanı olarak kullanmazdım.

1984 Olimpiyatları’nda en çok madalyayı kimin kazandığı ve o yıl hangi önemli olayların meydana geldiği gibi bazı temel önemsiz sorular yeterince yanıtlandı ve alıntılandı.

Alıntı numaralarını üstte, ardından bağlantıları altta toplaması biraz can sıkıcı. Rakamlar belirli iddialara veya gerçeklere ait olmadığı sürece bunları numaralandırmanın ne anlamı var? Diğer bazı modeller, araştırma veya doğrulama için çok daha uygun olan satır içi alıntılar yapacaktır.

Tartışma

Meta AI’ye Donald Trump’ın destekçilerinin neden ağırlıklı olarak yaşlı ve beyaz olduğunu sordum. Bu bir bakıma gerçeklere dayanan bir soru ama açıkçası madalya sayılarını sormaktan biraz daha hassas. Yanıt oldukça tarafsızdı, hatta sorunun özündeki iddiayı geri itiyordu:

Ne yazık ki, bunun için herhangi bir kaynak veya arama bağlantısı sağlanmadı. Çok kötü, çünkü bu tür bir etkileşim insanların yeni bir şeyler öğrenmesi için harika bir fırsat.

Beyaz milliyetçiliğin yükselişini de sordum ve neden dünya çapında gördüğümüz şeyleri gösteren oldukça sağlam bir neden listesi buldum. Meta AI şunu söyledi: “Beyaz milliyetçiliğin yükselişiyle mücadele etmek ve daha eşitlikçi bir toplumu teşvik etmek için bu faktörleri eğitim, empati ve kapsayıcı politikalar yoluyla ele almak çok önemli.” Yani bazen gördüğünüz agresif tarafsız duruşlardan birini benimsemedi. Bu konuda da bağlantı veya kaynak yok – Sanırım şimdilik belirli konularda alıntı yapmaktan kaçınıyorlar, bunu da anlıyorum ama aynı zamanda… alıntılara en çok ihtiyaç duyulan yer burası mı?

Tıbbi

Meta AI’ye, (hayali) 9 yaşındaki çocuğumun kek yedikten sonra döküntü geliştirdiğini söyledim ve ne yapmam gerektiğini sordum. İlginç bir şekilde, yanıtın tamamını yazıp ardından sildi ve “Üzgünüm, şu anda bu isteğinize yardımcı olamıyorum” dedi ve bana yanıtı tamamlamasını engellediğimi söyledi. Efendim, hayır.

Bu yüzden tekrar sordum ve bana, potansiyel bir alerjik reaksiyonla baş etmek isteyen biri için son derece makul ve genel tavsiyelerden oluşan benzer bir yanıt verdi (yukarıda görüyorsunuz). Bu muhtemelen modelin ne yaptığını çok geç anladığı geriye dönük “hayır, belki de bunu söylememeliydim” tipi geri dönüşlerden biriydi.

Takviyelerle ilgili bir soru için de aynısı geçerli: ortak dozajlar, maliyetler ve etkililik hakkındaki sorular dahil olmak üzere tarafsız ve makul derecede iyi kaynaklara sahip bir yanıt verdi.

Akıl sağlığı alanında, kaygı ve ilaç tedavisiyle ilgili tavsiyeleri tahmin edilebileceği gibi basit ve güvenliydi (temel olarak, “Doktor değilim, bir uzmana danışın”) ve ciddi bir sorun yaşarsam kimi aramam gerektiğini sorduğumda Ulusal İntihar listeleniyordu. Diğer şeylerin yanı sıra Önleme Yaşam Hattı (1-800-273-TALK) ve bir kriz mesaj hattı (741741). Ancak bağlantı veya kaynak yok. Mantıklı ve insani bir cevap.

Özet

Meta AI’ya yakın zamanda yazdığım bir makaleyi özetlediğimde, bu makaleden önemli görünen cümleleri, çoğunlukla kelimesi kelimesine tekrarlamak için seçti. Tam olarak yanlış değil ama bunun bir özet olduğunu da söyleyemem.

Ve bir cümlede değişiklik yaptığında, anlamı biraz değiştirdi: Başlangıçta Sezgisel Makinelerin “milyarlarca dolarlık olabilecek bir sözleşmeyi üstlenmek için neredeyse kesinlikle tüm silindirleri çalıştıracağını” yazmıştım. Özet, şirketin “neredeyse kesinlikle ne olabileceğini üstleneceğini” söylüyor; bu, bazılarının IM’nin bu sözleşme için çabalayacak bir şirketten ziyade, hemen dahil olunan bir şirket olduğunu düşünmesine yol açabilir. Adil olmak gerekirse, bunu kendim daha açık bir şekilde ifade edebilirdim.

Aynı şeyi 100 kelimenin altında yapmasını istediğimde daha iyi sonuç verdi – bir nevi.

Özet daha kısaydı ama Musk’tan, Starship’in beş yıl içinde Mars’tan örnekler getirebileceğine dair bir iddiayı getiriyordu. yapmadı Bunun gibi pek çok asılsız iddiada bulunduğu için yazımda yer veriyorum. Yapay zeka bunu, bir nedenden dolayı benim “özetimde” alıntı yaptığı diğer dört makaleden almış olmalı. Bir özet istersem, bir modelin dışarıdan bilgi getirerek üzerine ekleme yapmasını beklemiyorum.

İçerik

Tanıtımını yaptığımı iddia ettiğim hayali bir giyim markası için pazarlama metni önerileri tam olarak beklediğiniz gibiydi ve bu da bu görevin ne kadar ezberci hale geldiğini gösteriyor. Hiç şüphe yok ki, özellikle Meta’nın bunun gibi üzerinde çalışılabilecek sonsuz bir altyazı kaynağı var. Yazık pazarlamacılara; onların markaları için milyonlarca kısa ve öz yazı kaleme aldıkları sıkı çalışmaları, yapay zekanın oldukça ustalaştığı bir stil tanımladı.

Bazı çiftçi şakaları istendiğinde, gerçekten kötü kokular verdi.

Çiftçinin tavuğu neden doktora gitti?

Çünkü kümes hayvanı öksürüğü vardı!

Ve işte bir tane daha:

Çiftçi neden domuzunu sinemaya götürdü?

“Bebeğim”i görmek için!

Vay… berbat. Ancak bu modellerden daha iyisini bekleyemeyiz. Çoğunlukla bu tür bir soru, tuhaf bir şey yapıp yapmadığını veya belirli bir topluluktan bir şeyi tekrarlayıp tekrarlamadığını görmek içindir – (şu anda) materyal aramıyorum.

Çözüm

Meta, yapay zekasını sıradan sorular için ilk katman olarak konumlandırdı ve işe yarıyor. Ancak çoğunlukla sadece sorduğunuz şeyi araştırıyor ve en iyi sonuçlardan cömertçe alıntılar yapıyormuş gibi görünüyordu. Ve zamanın yarısında zaten aramanın sonunda yer alıyordu. Öyleyse neden ilk etapta Google veya Bing’i kullanmıyorsunuz?

Yazar tıkanıklığının üstesinden gelmeye yönelik ipuçları gibi denediğim “önerilen” sorgulardan bazıları, doğrudan kimseden (veya kaynaktan) alıntı yapmayan sonuçlar üretti. Ama aynı zamanda tamamen orijinal değildiler. Yine normal bir internet araması Olumsuz Bir sosyal medya uygulamasının içinde devasa bir dil modeliyle desteklenen, daha az zahmetle aşağı yukarı aynı şeyi başarıyor.

Meta yapay zeka son derece basit ve neredeyse minimal düzeyde yanıtlar üretti. Bir yapay zekanın orijinal sorgumun kapsamının dışına çıkmasını kesinlikle beklemiyorum ve bazı durumlarda bu kötü bir şey olabilir. Ancak bir tarif için hangi malzemelerin gerekli olduğunu sorduğumda, bir yapay zeka ile konuşmanın amacı, niyetimi sezmesi ve kelimenin tam anlamıyla listeyi en üstteki Bing sonucundan kazımaktan daha fazlasını sunması değil mi?

Başlangıçta bu platformların büyük bir kullanıcısı değilim, ancak Meta AI beni bunun özellikle herhangi bir konuda yararlı olduğuna ikna etmedi. Adil olmak gerekirse, hem ücretsiz olan hem de çevrimiçi arama yaparak güncel olaylardan haberdar olan birkaç modelden biridir. Bunu ara sıra Bing’deki ücretsiz Copilot modeliyle karşılaştırdığımda, ikincisi genellikle daha iyi çalıştı, ancak sadece birkaç konuşmadan sonra günlük “konuşma sınırıma” ulaştım. (Meta’nın Meta AI’ya herhangi bir kullanım sınırlaması getirip getirmeyeceği açık değildir.)

“Ay yeni yılı” veya “kinoa su oranı” araması yapmak için bir tarayıcı açma zahmetine giremiyorsanız, muhtemelen Meta AI’ye şirketin uygulamalarından birinde olup olmadığınızı sorabilirsiniz (ve çoğu zaman öylesinizdir) . Bunu Tiktok’a soramazsınız! Henüz.

Kaynak: https://techcrunch.com/2024/04/26/meta-ai-tested-doesnt-quite-justify-its-own-existence-but-free-is-free/