Özel bir ağ oluşturma, içgörü ve sohbet gecesi için 27 Mart’ta Boston’daki liderlere katılın. Davet et Burada.
Modern bir gerçek zamanlı veri akışı hattı neye benzer?
İçin Amazon Web Hizmetleri (AWS) Ve kar tanesi modern bir veri akışı hattı, kuruluşların bir platformdan diğerine neredeyse gerçek zamanlı olarak veri almasını kolaylaştırır.
Yapay zeka ve veri analitiğinin temeli veridir ancak bazen verileri optimize edilmiş bir yaklaşımla bir yerden diğerine aktarmak zor olabilir. Örneğin, bir kuruluş Amazon Web Services’te (AWS) çok fazla veriye sahip olabilir ve veri analizi için Snowflake’i kullanıyor olabilir. AWS ve Snowflake artık bu senaryoyu kolaylaştıran bir ortaklık kapsamında bir araya geldi. Amazon Kinesis Data Firehose Ve Kar Tanesi Kar Borusu Akışı.
Snowflake’in ürün yönetimi kıdemli direktörü James Malone, VentureBeat’e özel bir röportajda “Hiçbir teknoloji organizasyonu lideri herkesi tek bir araç kullanmaya zorlamak istemez, çünkü hiçbir araç genellikle her şey için en iyisi değildir” dedi. “Bu, AWS’de Snowflake’in ve herkesin işlerin birlikte sorunsuz bir şekilde çalışmasını sağlamaya çalışmasının bir görev haline geldiği anlamına geliyor; dolayısıyla bu ortaklığın birden fazla şeyi bir arada kullanmayı kolaylaştırmanın bir yansıması olduğunu düşünüyorum.”
VB Etkinliği
Yapay Zeka Etki Turu – Atlanta
Turumuza devam ederek 10 Nisan’daki AI Impact Tour durağı için Atlanta’ya doğru yola çıkıyoruz. Microsoft ile ortaklaşa gerçekleştirilen bu özel, yalnızca davetle katılabileceğiniz etkinlikte, üretken yapay zekanın güvenlik iş gücünü nasıl dönüştürdüğüne ilişkin tartışmalar yer alacak. Kontenjan sınırlıdır, bu nedenle bugün bir davet isteyin.
Davet et
AWS’nin veri akışı için Snowflake ile iş ortaklığı yapması neden önemlidir?
Amazon Kinesis Firehose, birçok farklı kaynaktan gerçek zamanlı akış verileri sunmaya yönelik, AWS’nin tam olarak yönetilen bir hizmetidir. Snowpipe Akışı, Snowflake’teki, harici kaynaklardan gerçek zamanlı olarak Snowflake tablolarına veri alınmasına olanak tanıyan bir özelliktir.
Geçmişte AWS’den Snowflake’e gerçek zamanlı veri akışı sağlamak mümkün olsa da bu mutlaka kusursuz veya optimize edilmiş bir süreç değildi. AWS’nin mesajlaşma ve akıştan sorumlu başkan yardımcısı Mindy Ferguson, VentureBeat ile yaptığı özel röportajda ortaklığın temel amacının basitliği sağlamak olduğunu söyledi.
Ferguson, “Aslında, modern akışlı veri hattında akış hakkında düşünmenin yolu, müşterilerin bize basitleştirme istediklerini söylemeleri ve aynı zamanda maliyetin düşürülmesini de istemeleridir” dedi. “Yani bu, bunu nasıl, nasıl ve neden inşa ettiğimizin bir parçasıydı.”
Veri gölü hâlâ önemlidir ancak gerçek zamanlı akış için basitleştirilebilir
Ferguson, ortaklığın bir diğer amacının, daha fazla gerçek zamanlı yetenekleri daha iyi etkinleştirmek için akış sürecindeki gecikmeyi azaltmak olduğunu belirtti. Ferguson, entegrasyonla birlikte bir kuruluşun AWS ile Snowflake arasındaki bağlantıyı sağlamak için atması gereken birkaç ekstra adımın ortadan kaldırıldığını söyledi.
Amazon Kinesis Data Firehose ve Snowflake Snowpipe Streaming entegrasyonundan önce bir kuruluş, ara adım olarak Amazon S3’ü kullanarak bir data lake katmanını kullanarak AWS’den Snowflake’e veri akışını etkinleştirebilirdi. Kinesis Data Firehouse’dan gelen verilerin öncelikle alınması ve ardından S3’e inmesi gerekecek ve Snowflake Snowpipe oradan verileri alabilecek. Yeni entegrasyon, verilerin doğrudan Amazon Kinesis Data Firehose’dan Snowflake Snowpipe Streaming’e gitmesine izin vererek süreci basitleştiriyor.
Ferguson, “Verilerinizi Snowflake’e aktarmak istiyorsanız, ara depolama alanına gerçekten gerek yok ve müşteriler bu noktada S3’ün de aralarında bulunduğu birçok yerde durdu” dedi.
Kendi görüşüne göre kuruluşlar, gerçek zamanlı veri akışını nasıl optimize edeceklerini gerçekten düşünmeye başladıkça, verileri gerçek zamanlı olarak taşımak ve mümkün olan en kısa sürede bir hedefe ulaştırmak için gerçek akış depolama alanını nasıl kullanacaklarını gerçekten düşüneceklerini ekledi. olası.
Entegrasyon şu anda genel beta sürümündedir. AWS Snowflake ortaklığı artık AWS’den gelen verilerin analiz için kolayca Snowflake’e aktarılmasını mümkün kılsa da diğer yöndeki akış henüz o kadar optimize edilmiş değil. Amazon Redshift veri ambarıyla kullanılmak üzere AWS’ye akış yoluyla Snowflake’ten kolayca veri alma desteğinin olup olmadığı sorulduğunda Malone, bunun şu anda desteklenmediğini söyledi ancak bunun gelecekteki bir özellik olduğunu ima etti.
Malone, “Herhangi bir zaman çizelgesi vermeyeceğim ancak bu Snowflake’in en çok tartışılan konularından biri” dedi.
VentureBeat’in misyonu teknik karar vericilerin dönüştürücü kurumsal teknoloji hakkında bilgi edinmeleri ve işlem yapmaları için dijital bir şehir meydanı olmaktır. Brifinglerimizi keşfedin.
Kaynak: https://venturebeat.com/data-infrastructure/amazon-and-snowflake-partner-to-enable-modern-data-streaming-pipeline-with-snowpipe-and-kinesis-data-firehose/