LLM bölgenizde mevcut değil mi? Snowflake artık bölgeler arası çıkarımı mümkün kılıyor

Bölgesel kullanılabilirliği büyük dil modelleri (LLM’ler) ciddi bir rekabet avantajı sağlayabilir; işletmeler ne kadar hızlı erişime sahip olursa, o kadar hızlı yenilik yapabilirler. Beklemek zorunda olanlar geride kalabilir.

Ancak yapay zeka gelişimi o kadar hızlı ilerliyor ki, bazı kuruluşların modeller kendi teknoloji yığınlarının bulunduğu yerde mevcut olana kadar beklemekten başka seçeneği kalmıyor; çoğu zaman kaynak zorlukları nedeniyle, Batı merkezli önyargı ve çok dilli engeller.

Bu kritik engeli aşmak için Kar tanesi bugün genel kullanıma sunulduğunu duyurdu bölgeler arası çıkarım. Basit bir ayarla geliştiriciler istekleri şu adreste işleyebilir: Cortex AI Kaynak bölgelerinde henüz bir model mevcut olmasa bile farklı bir bölgede. Yeni Yüksek Lisanslar mevcut olduğu anda entegre edilebilir.

Kuruluşlar artık ABD, AB ve Asya Pasifik ile Japonya’daki (APJ) yüksek lisans öğrenimlerini ek çıkış ücretleri ödemeden özel ve güvenli bir şekilde kullanabilir.

“Bölgeler arası çıkarım Snowflake’te yapay zeka ürün pazarlama girişimlerine liderlik eden Arun Agarwal, bir şirket blog yazısında şöyle yazıyor: Cortex AI, bölgesel kullanılabilirlik durumuna bakılmaksızın seçtiğiniz LLM ile sorunsuz bir şekilde entegre olmanıza olanak tanıyor.

Tek bir kod satırında bölgeleri geçme

Veri geçişine izin vermek için öncelikle çapraz bölge etkinleştirilmelidir (parametreler varsayılan olarak devre dışı olarak ayarlanmıştır) ve geliştiricilerin çıkarım için bölgeleri belirtmesi gerekir. Agarwal, her iki bölgenin de faaliyet göstermesi durumunda Amazon Web Hizmetleri (AWS), veriler bu küresel ağdan özel olarak geçecek ve fiziksel katmandaki otomatik şifreleme nedeniyle güvenli bir şekilde ağ içinde kalacaktır.

Bu arada, ilgili bölgeler farklı bulut sağlayıcılarındaysa trafik, şifreli aktarım karşılıklı aktarım katmanı güvenliği (MTLS) aracılığıyla genel internet üzerinden geçecektir. Agarwal, girişlerin, çıkışların ve hizmet tarafından oluşturulan istemlerin saklanmadığını veya önbelleğe alınmadığını kaydetti; çıkarım işleme yalnızca çapraz bölgede gerçekleşir.

Çıkarımı yürütmek ve güvenli ortamda yanıtlar oluşturmak için Kar tanesi çevrede, kullanıcıların öncelikle çıkarımın nerede işleneceğini yapılandırmak için hesap düzeyinde bir parametre ayarlaması gerekir. Cortex AI, talep edilen bir LLM’nin kaynak bölgede mevcut olmaması durumunda işlenmek üzere otomatik olarak bir bölge seçer.

Örneğin, bir kullanıcı bir parametreyi “AWS_US” olarak ayarlarsa çıkarım ABD’nin doğu veya batı bölgelerinde işlenebilir; veya bir değer “AWS_EU” olarak ayarlanmışsa Cortex, orta AB’ye veya Asya Pasifik’in kuzeydoğusuna yönlendirebilir. Agarwal, şu anda hedef bölgelerin yalnızca AWS’de olacak şekilde yapılandırılabileceğini, dolayısıyla Azure veya Google Cloud’da bölgeler arası etkinleştirilmişse isteklerin yine de AWS’de işleneceğinin altını çiziyor.

Agarwal, bir paragrafı özetlemek için Snowflake Arctic’in kullanıldığı bir senaryoya işaret ediyor. Kaynak bölge AWS ABD doğusu olsa da Cortex’teki model kullanılabilirlik matrisi, Arctic’in orada mevcut olmadığını tanımlar. Bölgeler arası çıkarımla Cortex, isteği AWS ABD batı 2’ye yönlendirir. Yanıt daha sonra kaynak bölgeye geri gönderilir.

Agarwal, “Bütün bunlar tek bir kod satırıyla yapılabilir” diye yazıyor.

Kullanıcılardan kaynak bölgede (bölgeler arası değil) tüketilen LLM kullanımı karşılığında kredi tahsil edilir. Agarwal, bölgeler arasındaki gidiş-dönüş gecikmesinin altyapı ve ağ durumuna bağlı olduğunu belirtti ancak Snowflake, bu gecikmenin LLM çıkarım gecikmesine kıyasla “göz ardı edilebilir” olmasını bekliyor.