Büyük dil modellerini (LLM’ler) banka hesabı verilerini içeren ses jakı işlemlerine silahlandırmak, ticari faaliyetlerinin bir parçası olarak yapay zekayı kullanan herhangi bir saldırganın ulaşabileceği en son tehdittir. Yüksek Lisanslar zaten yapılıyor silah haline getirilmiş ikna edici kimlik avı kampanyaları oluşturmak, koordineli sosyal mühendislik saldırıları başlatmak ve daha dayanıklı fidye yazılımı türleri oluşturmak için.
IBM’in Tehdit İstihbaratı ekibi LLM saldırı senaryolarını bir adım daha ileri götürdü ve meşru mali ayrıntıları sahte talimatlarla değiştirerek canlı bir konuşmayı ele geçirmeye çalıştı. Yüksek Lisans’ları kavram kanıtı (POC) saldırısını destekleyecek şekilde eğitmek için yeterli veriye sahip olmak için birinin üç saniyelik kayıtlı sesi yeterliydi. IBM, POC’nin tasarımını “korkunç derecede kolay” olarak nitelendiriyor.
Görüşmeye katılan diğer taraf, mali talimatların ve hesap bilgilerinin sahte olduğunu belirtmedi.
Yüksek Lisans’ların ses tabanlı saldırılar için silahlandırılması
Ses hırsızlığı, saldırganlara herhangi bir tarafça tespit edilmeden canlı konuşmalara müdahale etme ve bunları değiştirme yeteneği veren yeni bir tür üretken yapay zeka tabanlı saldırıdır. Yüksek Lisans’ları yeniden eğitmek için basit teknikler kullanan IBM Threat Intelligence araştırmacıları, canlı ses işlemlerini gen yapay zekayla yönetebildiler. Konsept kanıtları o kadar işe yaradı ki, konuşmaya katılan taraflardan hiçbiri tartışmanın ses sinyaliyle çalındığının farkında değildi.
VB Etkinliği
Yapay Zeka Etki Turu – NYC
Yapay zeka uygulamalarının risklerini ve getirilerini nasıl dengeleyeceğimizi tartışmak üzere Microsoft ile ortaklaşa 29 Şubat’ta New York’ta olacağız. Aşağıdaki özel etkinliğe davet isteyin.
IBM’in Tehdit İstihbaratı, bir finansal görüşmeyi test senaryosu olarak kullanarak, devam eden bir görüşmeyi yakalamayı ve bir LLM kullanarak yanıtları gerçek zamanlı olarak değiştirmeyi başardı. Konuşma, parayı hedeflenen alıcı yerine sahte bir rakip hesaba yönlendirmeye odaklandı; üstelik, görüşmeyi yapanların, işlemlerinin yapıldığını bilmeden.
IBM’in Tehdit İstihbaratı ekibi, saldırının oluşturulmasının oldukça kolay olduğunu söylüyor. Görüşme o kadar başarılı bir şekilde değiştirildi ki, parayı hedeflenen alıcı yerine sahte bir rakip hesaba yönlendirme talimatı, ilgili herhangi bir tarafça tespit edilemedi.
Tetikleyici olarak “banka hesabı” kullanılarak anahtar kelime değişimi
Anahtar kelimeleri belirlemek, engellemek ve bunları bağlam içinde değiştirmek için gen yapay zekanın kullanılması, ses çalmanın işleyişinin özüdür. Örneğin “banka hesabı” kelimesinin anahtarlanması ve bunun yerine kötü niyetli, sahte banka hesabı verilerinin getirilmesi, kavram kanıtlarıyla sağlandı.
Chenta LeeTehdit istihbaratı baş mimarı IBM Security, 1 Şubat’ta yayınlanan blog yazısında şöyle yazıyor: “Denemenin amaçları doğrultusunda, kullandığımız anahtar kelime ‘banka hesabı’ydı, dolayısıyla herhangi biri banka hesabından bahsettiğinde, LLM’ye talimat verdik” banka hesap numaralarını sahte bir hesap numarasıyla değiştirmek. Bu sayede tehdit aktörleri, fark edilmeden klonlanmış bir ses kullanarak herhangi bir banka hesabını kendi hesaplarıyla değiştirebilirler. Bu, konuşmadaki insanları kuklalara dönüştürmeye benziyor ve orijinal bağlamın korunması nedeniyle tespit edilmesi zor.”
“Bu kavram kanıtını (PoC) oluşturmak şaşırtıcı ve korkutucu derecede kolaydı. Zamanımızın çoğunu mikrofondan sesi nasıl yakalayacağımızı ve bu sesi üretken yapay zekaya nasıl aktaracağımızı bulmaya harcadık. Önceden işin zor kısmı konuşmanın anlamını anlamak ve cümleyi doğru şekilde değiştirmek olurdu. Ancak Yüksek Lisans’lar konuşmayı ayrıştırmayı ve anlamayı son derece kolaylaştırıyor,” diye yazıyor Lee.
Bu tekniği kullanarak, bir LLM’ye erişebilen herhangi bir cihaz, bir saldırı başlatmak için kullanılabilir. IBM, ses hırsızlığını sessiz bir saldırı olarak adlandırıyor. Lee şöyle yazıyor: “Bu saldırıyı çeşitli şekillerde gerçekleştirebiliriz. Örneğin, kurbanların telefonlarına yüklenen kötü amaçlı yazılım veya kötü amaçlı veya güvenliği ihlal edilmiş IP Üzerinden Ses (VoIP) hizmeti aracılığıyla olabilir. Tehdit aktörlerinin aynı anda iki kurbanı arayıp aralarında bir konuşma başlatması da mümkündür ancak bu, ileri düzeyde sosyal mühendislik becerileri gerektirir.”
Bir ses jakının kalbi eğitimli Yüksek Lisans’larla başlar
IBM Threat Intelligence, canlı bir görüşmeyi izlemeyi mümkün kılan ortadaki adam yaklaşımını kullanarak kavram kanıtını oluşturdu. Sesi metne dönüştürmek için konuşmayı metne dönüştürmeyi ve konuşmanın bağlamını elde etmek için yüksek lisans eğitimini kullandılar. LLM, birisi “banka hesabı” dediğinde cümleyi değiştirmek üzere eğitilmişti. Model bir cümleyi değiştirdiğinde, mevcut konuşma bağlamında ses üretmek ve oynatmak için metinden konuşmaya ve önceden klonlanmış sesleri kullandı.
Araştırmacılar, programlarının anında konuşmaların bağlamını nasıl değiştirdiğini ve onu her iki taraf için de son derece gerçekçi hale getirdiğini gösteren aşağıdaki dizi diyagramını sağladılar.
Kaynak: IBM Security Intelligence: Audio-jacking: Canlı ses işlemlerini bozmak için üretken yapay zekanın kullanılması, 1 Şubat 2024
Ses jakından kaçınma
IBM’in POC’si, söz konusu olduğunda daha da dikkatli olunması gerektiğine işaret ediyor sosyal mühendislik tabanlı saldırılar Bir modeli eğitmek için bir kişinin sesinin yalnızca üç saniyesi kullanılabiliyor. IBM Threat Intelligence ekibi, saldırı tekniğinin, siber saldırılarla başa çıkma konusunda en az donanıma sahip olanları kurban olma ihtimalinin en yüksek olduğunu belirtiyor.
Ses hırsızlığına karşı daha fazla dikkatli olmaya yönelik adımlar şunları içerir:
Bilgileri başka sözcüklerle ifade ettiğinizden ve tekrarladığınızdan emin olun. Gen AI’nın ilerlemeleri, aynı süreci tekrar tekrar otomatikleştirme yeteneği açısından etkileyici olsa da, doğal dil yoluyla iletilen insan sezgisini anlamada o kadar etkili değil. Kulağa biraz tuhaf gelen veya önceki kararların ritminden yoksun olan finansal konuşmalara karşı tetikte olun. Materyalleri tekrarlamak, başka sözcüklerle ifade etmek ve farklı bağlamlardan onay istemek bir başlangıçtır.
Güvenlik, sahte sesi tespit edecek şekilde uyum sağlayacaktır. Lee, derin sahtekarlıkları tespit edecek teknolojilerin hızlanmaya devam ettiğini söylüyor. Sahtekarlıkların eğlenceden spora, siyasete kadar ekonominin her alanını ne kadar derin etkilediği göz önüne alındığında, bu alanda hızlı yenilikler görmeyi bekliyoruz. Zaman içinde sessiz korsanlıklar, özellikle finans kurumları tarafından yapılacak yeni Ar-Ge yatırımlarının ana odak noktası olacaktır.
En iyi uygulamalar, ilk savunma hattı olarak zamana karşı dayanıklıdır. Lee, saldırganların bu tür bir saldırıda başarılı olabilmesi için en kolay yaklaşımın, kullanıcının telefonu veya dizüstü bilgisayarı gibi cihazının güvenliğini ihlal etmek olduğunu belirtiyor. şunu ekledi: “E-dolandırıcılıkgüvenlik açığından yararlanma ve ele geçirilen kimlik bilgilerinin kullanılması, şüpheli bağlantılara tıklamamak veya ekleri açmamak, yazılımı güncellemek ve güçlü şifre hijyeni.”
Güvenilir cihazları ve hizmetleri kullanın. Güvenli olmayan cihazlar ve güvenliği zayıf olan çevrimiçi hizmetler, ses hırsızlığı saldırı girişimlerinin hedefi olacak. Kuruluşunuzun kullandığı hizmetleri ve cihazları seçici olarak kilitleyin ve yazılım güncellemeleri de dahil olmak üzere yamaları güncel tutun. Herhangi bir cihaza veya hizmete sıfır güven zihniyetini benimseyin ve ihlal edildiğini ve en az ayrıcalıklı erişimin titizlikle uygulanması gerektiğini varsayalım.
VentureBeat’in misyonu teknik karar vericilerin dönüştürücü kurumsal teknoloji hakkında bilgi edinmeleri ve işlem yapmaları için dijital bir şehir meydanı olmaktır. Brifinglerimizi keşfedin.
Kaynak: https://venturebeat.com/security/how-audio-jacking-using-gen-ai-can-distort-live-audio-transactions/