Hugging Face, eski Apple araştırmacılarından XetHub’u satın aldı

Hugging Face bugün Seattle merkezli satın aldığını duyurdu XetHubmakine öğrenimi ekiplerinin büyük veri kümeleri ve modellerle daha verimli çalışmasına yardımcı olmak amacıyla eski Apple araştırmacıları tarafından kurulan, ortak çalışmaya dayalı bir geliştirme platformudur.

Anlaşmanın kesin değeri açıklanmazken CEO Clem Delangue, Forbes Bunun şirketin şu ana kadar gerçekleştirdiği en büyük satın alma olduğunu söyledi.

HF ekibi, XetHub teknolojisini kendi platformuyla entegre etmeyi ve depolama arka ucunu yükselterek geliştiricilerin daha fazlasını barındırmasına olanak sağlamayı planlıyor büyük modeller ve veri kümelerini şu anda mümkün olandan çok daha az çaba harcayarak elde edebilirsiniz.

Şirketin CTO’su Julien Chaumond şunları yazdı: “XetHub ekibi, Hub’ın depoları için bir depolama arka ucu olarak LFS’nin daha iyi sürümüne geçerek, HF veri kümeleri ve modellerinde önümüzdeki 5 yıllık büyümenin kilidini açmamıza yardımcı olacak.” A Blog yazısı.

XetHub Hugging Face’e neler katıyor?

Apple’ın dahili makine öğrenimi altyapısında çalışan Yucheng Low, Ajit Banerjee ve Rajat Arya tarafından 2021 yılında kurulan XetHub, işletmelere büyük modelleri ve veri kümelerini keşfetmeye, anlamaya ve bunlarla çalışmaya yönelik bir platform sağlayarak adından söz ettirdi.

Bu teklif, boyutu TB’ye kadar çıkan depolar için Git benzeri sürüm kontrolüne olanak tanıyarak ekiplerin değişiklikleri izlemesine, işbirliği yapmasına ve makine öğrenimi iş akışlarında tekrarlanabilirliği sürdürmesine olanak tanıdı.

Bu üç yıl boyunca XetHub, sürekli büyüyen araçlar, dosyalar ve yapıtlardan kaynaklanan karmaşık ölçeklenebilirlik ihtiyaçlarını karşılama becerisiyle Tableau ve Gather AI gibi önemli isimlerin de dahil olduğu oldukça büyük bir müşteri tabanına ulaştı. İçerik tanımlı parçalama, veri tekilleştirme, anında depo montajı ve dosya akışı gibi gelişmiş teknikleri kullanarak depolama ve aktarım süreçlerini iyileştirdi.

Artık bu satın almayla birlikte XetHub platformunun varlığı sona erecek, veri ve model işleme yetenekleri ortaya çıkacak. Sarılma Yüz Merkezimodeli ve veri kümesi paylaşım platformunu daha optimize edilmiş bir depolama ve sürüm oluşturma arka ucuyla yükseltiyoruz.

Depolama tarafında, HF Hub şu anda arka uç olarak Git LFS’yi (Büyük Dosya Depolama) kullanıyor. 2020’de piyasaya sürüldü, ancak Chaumond, şirketin AI ekosistemindeki sürekli artan büyük dosya hacmi göz önüne alındığında depolama sisteminin bir noktadan sonra yeterli olmayacağını uzun zamandır bildiğini söylüyor. Başlamak için iyi bir noktaydı ancak şirketin XetHub ile birlikte gelecek bir yükseltmeye ihtiyacı vardı.

Şu anda XetHub platformu destekler Toplam depo boyutu 100 TB’ın çok üzerine çıkan 1 TB’tan büyük bireysel dosyalar, yalnızca maksimum 5 GB dosya boyutunu ve 10 GB depoyu destekleyen Git LFS üzerinden büyük bir yükseltme yapıyor. Bu, HF Hub’ın şu anda mümkün olandan daha büyük veri kümelerini, modelleri ve dosyaları barındırmasını sağlayacaktır.

Üstelik XetHub’ın ek depolama ve aktarım özellikleri, paketi daha da kazançlı hale getirecek.

Örneğin, platformun içerik tanımlı parçalama ve veri tekilleştirme yetenekleri, kullanıcıların veri kümesi güncellemesi durumunda tüm dosya kümesini yeniden yüklemek yerine (bu çok zaman alır) yeni satırların seçilmiş parçalarını yüklemelerine olanak tanıyacaktır. Aynı durum model depoları için de geçerli olacaktır.

“Alan önümüzdeki aylarda trilyon parametreli modellere doğru ilerlerken (yeni BigLlama-3.1-1T için Maxime Labonne’a teşekkürler), umudumuz bu yeni teknolojinin hem toplulukta hem de kurumsal şirketler içinde yeni ölçeğin kilidini açmasıdır.” CTO kaydetti. Ayrıca şirketlerin, ekiplerin HF Hub varlıkları üzerinde işbirliği yapmasına ve nasıl geliştiklerini takip etmelerine yardımcı olmayı amaçlayan çözümler başlatmak için yakın işbirliği içinde çalışacaklarını da sözlerine ekledi.

Şu anda Hugging Face Hub, 1,3 milyon modele, 450.000 veri kümesine ve 680.000 alana ev sahipliği yapıyor; bu da LFS’de toplamda 12PB’ye kadar çıkıyor.

Daha büyük modeller ve veri kümeleri için desteğin devreye girmesine olanak tanıyan gelişmiş depolama arka ucuyla bu sayının nasıl büyüyeceğini görmek ilginç olacak. Diğer destekleyici özelliklerin entegrasyonu ve başlatılmasına ilişkin zaman çizelgesi bu aşamada belirsizliğini koruyor.