Nvidia’nın yeni aracı GenAI modellerini bilgisayarda çalıştırmanıza olanak tanıyor

En yeni GPU’larının satın alınmasını teşvik etmeye her zaman istekli olan Nvidia, GeForce RTX 30 Serisi ve 40 Serisi kart sahiplerinin Windows PC’de yapay zeka destekli bir sohbet robotunu çevrimdışı çalıştırmasına olanak tanıyan bir araç piyasaya sürüyor.

RTX ile Sohbet olarak adlandırılan araç, kullanıcıların bir GenAI modelini daha sonra sorgulayabileceği belgelere, dosyalara ve notlara bağlayarak OpenAI’nin ChatGPT’sine göre özelleştirmelerine olanak tanıyor.

Nvidia bir blog yazısında şöyle yazıyor: “Kullanıcılar notlarda veya kayıtlı içerikte arama yapmak yerine yalnızca sorgu yazabilir.” “Örneğin, ‘Partnerimin Las Vegas’ta önerdiği restoran hangisiydi?’ diye sorulabilir. ve RTX ile Sohbet, kullanıcının işaret ettiği yerel dosyaları tarayacak ve yanıtı bağlamla birlikte sunacak.”

RTX ile sohbet, varsayılan olarak yapay zeka girişimi Mistral’in açık kaynak modelini kullanır ancak Meta’nın Llama 2’si de dahil olmak üzere diğer metin tabanlı modelleri destekler. Nvidia, gerekli tüm dosyaların indirilmesinin, modele bağlı olarak 50 GB ile 100 GB arasında oldukça büyük miktarda depolama alanı tüketeceği konusunda uyarıyor ) seçildi.

Şu anda RTX ile Sohbet metin, PDF, .doc ve .docx ve .xml formatlarıyla çalışmaktadır. Uygulamayı, desteklenen dosyaları içeren bir klasöre işaret etmek, dosyaları modelin ince ayar veri kümesine yükleyecektir. Ayrıca RTX ile Sohbet, oynatma listesindeki videoların transkripsiyonlarını yüklemek için bir YouTube oynatma listesinin URL’sini alabilir ve hangi model seçilirse seçilsin içeriklerinin sorgulanmasına olanak tanır.

Şimdi, Nvidia’nın nasıl yapılır kılavuzunda ana hatlarıyla belirttiği, akılda tutulması gereken bazı sınırlamalar var.

RTX ile sohbet, bağlamı hatırlayamıyor; bu da uygulamanın, sonraki soruları yanıtlarken önceki soruları dikkate almayacağı anlamına geliyor. Örneğin, “Kuzey Amerika’da yaygın bir kuş nedir?” ve bunu “Renkleri nelerdir?” sorusuyla takip edin. RTX ile sohbet, kuşlardan bahsettiğinizi anlamayacaktır.

Nvidia ayrıca uygulamanın yanıtlarının uygunluğunun, soru ifadeleri, seçilen modelin performansı ve ince ayar veri kümesinin boyutu dahil olmak üzere bazılarının kontrolü diğerlerinden daha kolay olan bir dizi faktörden etkilenebileceğini kabul ediyor. Birkaç belgede yer alan gerçekleri sormak muhtemelen daha iyi sonuç verecektir
Bir belgenin veya bir dizi belgenin özetini istemekten daha iyi sonuçlar verir. Nvidia, RTX ile Sohbet’in belirli bir konu hakkında daha fazla içeriğe işaret etmesi gibi, yanıt kalitesinin genellikle daha büyük veri kümeleriyle artacağını söylüyor.

Yani RTX ile Sohbet, üretimde kullanılacak her şeyden çok bir oyuncaktır. Yine de yapay zeka modellerini yerel olarak çalıştırmayı kolaylaştıran uygulamalar hakkında söylenecek bir şeyler var; bu da giderek büyüyen bir trend.

Yakın tarihli bir raporda, Dünya Ekonomik Forumu, PC’ler, akıllı telefonlar, nesnelerin interneti cihazları ve ağ ekipmanları dahil olmak üzere GenAI modellerini çevrimdışı çalıştırabilen uygun fiyatlı cihazlarda “dramatik” bir büyüme öngördü. WEF’e göre bunun nedenleri açık avantajlardır: Çevrimdışı modeller doğası gereği daha özel olmakla kalmaz (işledikleri veriler hiçbir zaman çalıştıkları cihazdan ayrılmazlar), aynı zamanda bulutta barındırılan modellere göre daha düşük gecikme süresine sahiptirler ve daha uygun maliyetlidirler.

Elbette, modelleri çalıştırmak ve eğitmek için kullanılan araçların demokratikleştirilmesi, kötü niyetli aktörlerin kapısını açıyor; üstünkörü bir Google Araması, web’in vicdansız köşelerinden gelen zehirli içeriğe göre ince ayar yapılmış modeller için birçok liste ortaya çıkarıyor. Ancak RTX ile Sohbet gibi uygulamaların savunucuları, yararlarının zararlarından daha ağır bastığını savunuyor. Bekleyip görmemiz gerekecek.