İnsanlar OpenAI’nin yeni sohbet robotu için gerçekten ayda 200 dolar ödeyecek mi?

Perşembe günü, OpenAI ayda 200 dolarlık bir sohbet robotunu piyasaya sürdü ve yapay zeka topluluğu bununla ne yapacağını tam olarak bilmiyordu.

Şirketin yeni ChatGPT Pro planı, OpenAI’nin “en zor sorulara en iyi yanıtlar için daha fazla bilgi işlem kullandığını” söylediği “o1 pro moduna” erişim sağlıyor. OpenAI’nin o1 akıl yürütme modelinin güçlendirilmiş bir versiyonu olan o1 pro modunun bilim, matematik ve kodlamayla ilgili soruları daha “güvenilir” ve “kapsamlı” şekilde yanıtlaması gerektiğini söylüyor OpenAI.

Neredeyse anında insanlar ondan tek boynuzlu at çizmesini istemeye başladı:

ChatGPT o1 Pro Modundan bir tek boynuzlu atın SVG’sini oluşturmasını istedim.

(Bu, aylık 200 ABD Doları karşılığında erişebileceğiniz modeldir) pic.twitter.com/h9HwY3aYwU

— Rammy (@rammydev) 5 Aralık 2024

Ve “yengeç tabanlı” bir bilgisayar tasarlayın:

Sonunda o1-pro’yu nihai kullanım durumuna getiriyoruz. pic.twitter.com/nX4JAjx71m

— Ethan Mollick (@emollick) 6 Aralık 2024

Ve hayatın anlamını şiirsel bir şekilde dile getiriyorum:

Az önce OpenAI’nin aylık 200$ aboneliğine abone oldum.
Sormak istediğiniz soruları yanıtlayın, ben de bunları bu başlıkta yeniden yayınlayacağım. pic.twitter.com/oTQxbPxnoP

— Garrett Scott 🕳 (@thegarrettscott) 5 Aralık 2024

Ancak X’teki pek çok kişi o1 pro modunun yanıtlarının 200 dolar seviyesinde olduğuna ikna olmuş görünmüyordu.

“OpenAI, normal o1’de başarısız olup o1-pro’da başarılı olan istemlerin somut örneklerini paylaştı mı?” diye sordu İngiliz bilgisayar bilimcisi Simon Willison. “Avantajını gösteren tek bir somut örnek görmek istiyorum.”

Bu makul bir soru; sonuçta bu dünyanın en pahalı chatbot aboneliği. Hizmet, oran sınırlarının kaldırılması ve OpenAI’nin diğer modellerine sınırsız erişim gibi başka avantajlarla birlikte geliyor. Ancak yılda 2.400 dolar büyük bir değişim değil ve o1 pro modunun değer teklifi özellikle belirsizliğini koruyor.

Başarısızlık vakalarını bulmak uzun sürmedi. O1 pro modu Sudoku ile mücadele ediyor ve her insanın anlayabileceği bir optik yanılsama şakasıyla tetikleniyor.

o1 ve o1-pro’nun ikisi de burada başarısız oldu, muhtemelen hala görüş sınırlamaları yüzünden (Sudoku bulmacalarıyla aynı)https://t.co/mAVK7WxBrq pic.twitter.com/O9boSv7ZGt

— Tibor Blaho (@btibor91) 5 Aralık 2024

OpenAI’nin dahili karşılaştırmaları, o1 pro modunun kodlama ve matematik problemlerinde standart o1’den yalnızca biraz daha iyi performans gösterdiğini gösteriyor:

OpenAI, o1 pro modunun tutarlılığını göstermek için aynı kriterler üzerinde “daha katı” bir değerlendirme gerçekleştirdi: modelin bir soruyu yalnızca dört kereden dördünde doğru cevabı alması durumunda çözdüğü kabul edildi. Ancak bu testlerde bile gelişmeler dramatik değildi:

OpenAI CEO’su Sam Altman, bir zamanlar OpenAI’nin bir süreçte olduğunu yazmıştı. yol “Ölçülemeyecek kadar ucuz zekaya doğru” Perşembe günü birçok kez ChatGPT Pro’nun çoğu insan için olmadığını açıklamak zorunda kaldı.

“Çoğu kullanıcı o1’den çok memnun kalacak. [ChatGPT] Artı seviye!” X hakkında şunları söyledi: “Neredeyse herkese ücretsiz seviyemiz veya Plus seviyemiz tarafından en iyi şekilde hizmet verilecek.”

Peki kimin için? Gerçekten “’e’ harfini kullanmadan çilekler üzerine 3 paragraflık bir makale yazın” veya “bu Matematik Olimpiyatı problemini çözün” gibi oyuncak sorular sormak için ayda 200 dolar ödemeye hazır insanlar var mı? Standart o1’in aynı soruları tatmin edici bir şekilde yanıtlayamayacağına dair fazla bir garanti olmadan, zorlukla kazandıkları parayla yollarını mutlu bir şekilde ayıracaklar mı?

Makine öğrenimi alanında doçent olan Ameet Talwalkar’a sordum. Carnegie Mellon’un ve Amplify Partners’ta bir girişim ortağı olduğunu düşünüyor. TechCrunch’a e-posta yoluyla “Fiyatı on kat artırmak benim için büyük bir risk gibi görünüyor” dedi. “Sanırım birkaç hafta içinde bu işlevselliğe olan ilgi konusunda çok daha iyi bir anlayışa sahip olacağız.”

UCLA bilgisayar bilimcisi Guy Van den Broeck değerlendirmesinde daha samimiydi. TechCrunch’a “Fiyat noktasının anlamlı olup olmadığını ve pahalı akıl yürütme modellerinin norm olup olmayacağını bilmiyorum.”

o1 “birçok görevde çoğu insandan daha iyidir” çünkü evet, insanlar yalnızca amnezik bedensiz, çok turlu sohbet arayüzlerinde var olurlar https://t.co/zbLY2BG5pQ

— Aidan McLau (@aidan_mclau) 6 Aralık 2024

Cömert bir yaklaşımla bunun bir pazarlama hatası olduğu söylenebilir. o1 pro modunu “en zor sorunları” çözmede en iyi yöntem olarak tanımlamak, potansiyel müşterilere pek bir şey ifade etmez. Modelin nasıl “daha uzun süre düşünebileceği” ve “zekayı” gösterebileceğine dair belirsiz ifadeler de yok. Willison’un işaret ettiği gibi, bu sözde gelişmiş kapasiteye ilişkin spesifik örnekler olmadan, bırakın on katını, hatta daha fazlasını bile ödemeyi haklı çıkarmak bile zor.

Anlayabildiğim kadarıyla hedef kitle, uzmanlaşmış alanlardaki uzmanlardır. OpenAI, “önde gelen kurumlardaki” bir avuç tıbbi araştırmacıya, o1 pro modunu içerecek ChatGPT Pro’ya ücretsiz erişim sağlamayı planladığını açıkladı. Sağlık hizmetlerinde hatalar çok önemlidir ve OpenAI’nin eski baş araştırma görevlisi Bob McGrew’un X’te belirttiği gibi, daha iyi güvenilirlik belki de o1 pro modunun ana kilidini açan şeydir.

Bir süredir o1 ve o1-pro ile oynuyorum.

Çok iyiler ve biraz tuhaflar. Ayrıca çoğu zaman çoğu insan için değildirler. Bundan değer elde etmek için gerçekten çözmeniz gereken belirli zor problemlerin olması gerekir. Ancak bu sorunlarınız varsa, bu çok büyük bir olaydır.

— Ethan Mollick (@emollick) 5 Aralık 2024

McGrew ayrıca o1 pro modunun “zeka çıkıntısı” olarak adlandırdığı şeyin bir örneği olduğunu da düşündü: kullanıcılar (ve belki de modelin yaratıcıları), basit, metin tabanlı bir arayüzün temel sınırlamaları nedeniyle herhangi bir “ekstra zekadan” nasıl değer elde edeceklerini bilmiyorlar . OpenAI’nin diğer modellerinde olduğu gibi, o1 pro moduyla etkileşim kurmanın tek yolu ChatGPT’dir ve McGrew’a göre ChatGPT mükemmel değildir.

Ancak 200 doların beklentileri yükselttiği de doğru. Ve sosyal medyadaki erken tepkilere bakılırsa ChatGPT Pro bir smaç değil.