Anthropic’in yeni istemi önbelleğe alma özelliği geliştiricilere bir servet kazandıracak

Antropik tanıtıldı API’sinde hızlı önbelleğe almaAPI çağrıları arasındaki bağlamı hatırlayan ve geliştiricilerin tekrarlanan istemlerden kaçınmasına olanak tanıyan.

İstemi önbelleğe alma özelliği şu adreste mevcuttur: Claude 3.5 Sonnet’in genel betası ve Claude 3 Haiku, ancak en büyük Claude modeli Opus için destek yakında gelmeye devam edecek.

Hızlı önbelleğe alma, 2023 tarihli bu makalede açıklanankullanıcıların sık kullandıkları bağlamları oturumlarında tutmalarına olanak tanır. Modeller bu istemleri hatırladığından, kullanıcılar maliyetleri artırmadan ek arka plan bilgileri ekleyebilirler. Bu, birisinin bir bilgi isteminde büyük miktarda bağlam göndermek ve ardından modelle yapılan farklı konuşmalarda buna geri dönmek istediği durumlarda faydalıdır. Ayrıca geliştiricilerin ve diğer kullanıcıların model yanıtlarında daha iyi ince ayar yapmalarına olanak tanır.

Anthropic, ilk kullanıcıların “tam bilgi tabanının dahil edilmesinden 100 çekimlik örneklere ve bir konuşmanın her bir sırasının istemlerine dahil edilmesine kadar çeşitli kullanım durumları için hızlı önbelleğe alma ile önemli hız ve maliyet iyileştirmeleri gördüklerini” söyledi.

Şirket, potansiyel kullanım örneklerinin, uzun talimatlar için maliyetlerin ve gecikmelerin azaltılması ve konuşma aracıları için yüklenen belgeler, kodların daha hızlı otomatik olarak tamamlanması, aracı arama araçlarına birden fazla talimat sağlanması ve belgelerin tamamının bir istem içine yerleştirilmesini içerdiğini söyledi.

Önbelleğe alınan istemleri fiyatlandırma

İstemleri önbelleğe almanın bir avantajı, jeton başına daha düşük fiyatlardır ve Anthropic, önbelleğe alınmış istemleri kullanmanın, temel giriş jetonu fiyatından “önemli ölçüde daha ucuz” olduğunu söyledi.

Claude 3.5 Sonnet için, önbelleğe alınacak bir istem yazmanın maliyeti 1 milyon jeton (MTok) başına 3,75 ABD dolarıdır, ancak önbelleğe alınmış bir istemin kullanılması MTok başına 0,30 ABD dolarına mal olacaktır. Claude 3.5 Sonnet modeline bir girişin taban fiyatı 3 $/MTok’tur, dolayısıyla biraz daha fazla ön ödeme yaparak, bir dahaki sefere önbelleğe alınmış istemi kullanırsanız 10 kat tasarruf artışı elde etmeyi bekleyebilirsiniz.

Claude 3 Haiku kullanıcıları, önbelleğe almak için 0,30 ABD Doları/MTok ve saklanan istemleri kullanırken 0,03 ABD Doları/MTok ödeyecek.

Claude 3 Opus için hızlı önbelleğe alma henüz mevcut olmasa da Anthropic zaten fiyatlarını yayınladı. Önbelleğe yazmanın maliyeti 18,75 ABD Doları/MTok olacaktır, ancak önbelleğe alınan istemin maliyeti 1,50 ABD Doları/MTok olacaktır.

Ancak AI fenomeni Simon Willison’un X’te belirttiği gibi Anthropic’in önbelleğinin yalnızca 5 dakikalık bir ömrü vardır ve her kullanımda yenilenir.

Elbette bu, Anthropic’in fiyatlandırma yoluyla diğer AI platformlarıyla rekabet etmeye çalıştığı ilk sefer değil. Claude 3 model ailesinin piyasaya sürülmesinden önce Anthropic tokenlarının fiyatlarını düşürdü.

Şu anda rakiplere karşı adeta bir “dibe doğru yarış” halinde. Google Ve OpenAI platformunu geliştiren üçüncü taraf geliştiricilere düşük fiyatlı seçenekler sunmaya gelince.

Çok istenen özellik

Diğer platformlar, hızlı önbelleğe almanın bir sürümünü sunar. Bir LLM çıkarım sistemi olan Lamina, KV önbelleğe almayı kullanır GPU’ların maliyetini düşürmek için. OpenAI’nin geliştirici forumlarına veya GitHub’a üstünkörü bir bakış, istemlerin nasıl önbelleğe alınacağına ilişkin soruları gündeme getirecektir.

Önbelleğe alma istemleri, büyük dil modeli belleğindeki istemlerle aynı değildir. Örneğin OpenAI’nin GPT-4o’su, modelin tercihleri ​​veya ayrıntıları hatırladığı bir bellek sunuyor. Ancak bilgi istemini önbelleğe alma gibi gerçek istemleri ve yanıtları saklamaz.