OpenAI, 16X token kapasitesiyle GPT-4o Uzun Çıkışı başlattı

OpenAI’nin bildirildiğine göre nakit sıkışıklığına tanık olmakancak bu, önde gelen üretken yapay zeka şirketinin istikrarlı bir şekilde yeni modeller ve güncellemeler yayınlamaya devam etmesini engellemiyor.

Dün şirket sessizce bir web sayfası yayınladı yeni bir büyük dil modeli (LLM) duyuruluyor: Mayıs ayındaki imzalı GPT-4o modelinin bir varyasyonu olan GPT-4o Uzun Çıkış, ancak büyük ölçüde genişletilmiş çıktı boyutuyla: GPT-4o’nun başlangıç ​​seviyesi yerine 64.000 jetona kadar çıktı 4.000 — 16 kat artış.

Hatırlayacağınız gibi jetonlar, kavramların sayısal gösterimleriBir LLM’nin perde arkasında anlamsal anlamlarına göre düzenlenen dilbilgisel yapılar ve harf ve sayı kombinasyonları.

Örneğin “Merhaba” kelimesi bir simgedir, ancak “merhaba” da öyle. OpenAI’nin Tokenizer’ı aracılığıyla etkileşimli bir token demosunu çalışırken görebilirsiniz. Burada. Makine öğrenimi araştırmacısı Simon Willison ayrıca harika bir etkileşimli jeton kodlayıcı/kod çözücüye sahiptir..

Yeni GPT-4o Uzun Çıkış varyantı ile token çıktılarında 16 kat artış sunan OpenAI, artık kullanıcılara ve daha spesifik olarak uygulama programlama arayüzünü (API) temel alan üçüncü taraf geliştiricilere, sohbet robotunun çok uzaklara geri dönmesi fırsatını sunuyor. yaklaşık 200 sayfalık bir roman uzunluğuna kadar daha uzun yanıtlar.

OpenAI neden daha uzun bir çıktı modeli başlatıyor?

OpenAI’nin bu genişletilmiş çıktı kapasitesini sunma kararı, daha uzun çıktı bağlamlarına ihtiyaç olduğunu belirten müşteri geri bildirimlerinden kaynaklanmaktadır.

Bir OpenAI sözcüsü VentureBeat’e şunları açıkladı: “Müşterilerimizden daha uzun bir çıktı bağlamı istediklerine dair geri bildirimler duyduk. Daima müşterilerimizin ihtiyaçlarını en iyi şekilde karşılayabileceğimiz yeni yolları test ediyoruz.”

Alfa test aşamasının birkaç hafta sürmesi ve OpenAI’nin genişletilmiş çıktının kullanıcı ihtiyaçlarını ne kadar etkili bir şekilde karşıladığına ilişkin veri toplamasına olanak sağlaması bekleniyor.

Bu gelişmiş yetenek, kod düzenleme ve yazma iyileştirme gibi ayrıntılı ve kapsamlı çıktı gerektiren uygulamalar için özellikle avantajlıdır.

GPT-4o modeli, daha genişletilmiş çıktılar sunarak daha kapsamlı ve ayrıntılı yanıtlar sağlayabilir ve bu da bu kullanım durumlarına önemli ölçüde fayda sağlayabilir.

Bağlam ve çıktı arasındaki ayrım

GPT-4o, piyasaya sürülmesinden bu yana maksimum 128.000 bağlam penceresi sunuyordu; bu, modelin herhangi bir etkileşimde işleyebileceği token miktarıdır. hem giriş hem de çıkış jetonları.

GPT-4o Uzun Çıkış için bu maksimum bağlam penceresi 128.000’de kalır.

Peki OpenAI nasıl sayısını artırabiliyor? giriş Genel bağlam penceresini 128.000’de tutarken tokenlerin sayısı 16 kat artarak 4.000’den 64.000’e mi çıktı?

Bu çağrı basit bir yola varıyor: Mayıs ayındaki orijinal GPT-4o’nun toplam 128.000 jetonluk bağlam penceresi olmasına rağmen, tek çıktı mesaj sayısı 4.000 ile sınırlıydı.

Benzer şekilde, yeni GPT-4o mini penceresi için toplam içerik 128.000’dir ancak maksimum çıktı 16.000 token’a yükseltilmiştir.

Bu, GPT-4o için kullanıcının giriş olarak 124.000’e kadar token sağlayabileceği ve tek bir etkileşimde modelden maksimum 4.000’e kadar çıktı alabileceği anlamına gelir. Ayrıca girdi olarak daha fazla token sağlayabilirler ancak çıktı olarak daha az token alabilirler ve toplam token sayısı 128.000’e kadar çıkabilir.

GPT-4o mini için kullanıcı, maksimum 16.000 jetonluk çıktıyı geri almak için giriş olarak 112.000 jetona kadar sağlayabilir.

GPT-4o Uzun Çıkış için toplam bağlam penceresi hâlâ 128.000 ile sınırlıdır. Ancak artık kullanıcı, maksimum 64.000 jetonun geri alınması karşılığında 64.000 jetona kadar değerde giriş sağlayabilir; yani, üzerine inşa edilmiş bir uygulamanın kullanıcısı veya geliştiricisi, girdileri sınırlandırırken daha uzun LLM yanıtlarına öncelik vermek istiyorsa .

Her durumda, kullanıcı veya geliştiricinin bir seçim yapması veya ödün vermesi gerekir: Toplamda 128.000 jetonda kalırken daha uzun çıktılar uğruna bazı girdi jetonlarından fedakarlık etmek mi istiyorlar? Daha uzun yanıtlar isteyen kullanıcılar için GPT-4o Uzun Çıkış artık bunu bir seçenek olarak sunuyor.

Agresif ve uygun fiyatlı

Yeni GPT-4o Uzun Çıkış modelinin fiyatı şu şekilde:

• 1 milyon giriş jetonu başına 6 ABD doları
• 1 milyon çıkış jetonu başına 18 ABD doları

Bunu normalle karşılaştır GPT-4o fiyatlandırması ki bu da bir milyon giriş tokenı başına 5 dolar ve bir milyon çıktı başına 15 dolar, hatta yeni GPT-4o mini Milyon girdi başına 0,15 ABD doları ve çıktı başına 0,60 ABD dolarıdır ve oldukça agresif bir şekilde fiyatlandırıldığını görebilirsiniz, OpenAI’nin güçlü yapay zekayı uygun fiyatlı ve geliştirici kullanıcı tabanının geniş kesimleri için erişilebilir hale getirmek istediğine dair son nakaratını sürdürüyor.

Şu anda bu deneysel modele erişim, güvenilir iş ortaklarından oluşan küçük bir grupla sınırlıdır. Sözcü şunları ekledi: “Daha uzun çıktıların kullanım durumlarına yardımcı olup olmadığını görmek için az sayıda güvenilir iş ortağıyla birkaç hafta boyunca alfa testi yürütüyoruz.”

Bu test aşamasının sonuçlarına bağlı olarak OpenAI, erişimi daha geniş bir müşteri tabanına genişletmeyi düşünebilir.

Gelecek görünüşü

Devam eden alfa testi, genişletilmiş çıktı modelinin pratik uygulamalarına ve potansiyel faydalarına ilişkin değerli bilgiler sağlayacaktır.

İlk ortak grubundan gelen geri bildirim olumluysa, OpenAI bu yeteneği daha geniş çapta kullanılabilir hale getirmeyi düşünebilir ve böylece daha geniş bir kullanıcı yelpazesinin gelişmiş çıktı yeteneklerinden yararlanmasını sağlayabilir.

Açıkçası, GPT-4o Uzun Çıkış modeliyle OpenAI, daha geniş bir yelpazedeki müşteri isteklerini ve ayrıntılı yanıtlar gerektiren güç uygulamalarını karşılamayı umuyor.