ElevenLabs’ın yapay zeka ses üretimi ‘çok muhtemel’ bir Rus nüfuz operasyonunda kullanıldı

Üretken yapay zekanın, akademik makaleler hazırlamaktan sanatçıları kopyalamaya kadar çok sayıda iyi belgelenmiş suiistimalleri vardır. Şimdi de devlet nüfuzu operasyonlarında ortaya çıkıyor gibi görünüyor.

Massachusetts merkezli tehdit istihbarat şirketi Recorded Future’ın yakın tarihli bir raporuna göre, yakın tarihli bir kampanyaya, yeni kurulan ElevenLabs tarafından kamuya açıklanan teknoloji de dahil olmak üzere ticari yapay zeka ses oluşturma ürünleri “büyük olasılıkla” yardımcı oldu.

Raporda, Avrupa’nın Ukrayna’ya verdiği desteği baltalamak için tasarlanmış, sahte veya yanıltıcı “haber” videolarında yapay zeka tarafından oluşturulan seslendirmeleri belirgin bir şekilde kullanan “Alttan Kesme Operasyonu” adı verilen, Rusya bağlantılı bir kampanya anlatılıyor.

Avrupalı ​​izleyicileri hedef alan videolar, diğer temaların yanı sıra Ukraynalı politikacılara yolsuzluk yapmakla saldırıyor veya askeri yardımın Ukrayna’ya yararlılığını sorguluyordu. Örneğin, bir videoda, ABD tanklarının gelen füzeleri saptırmak için kullandığı cihazlara atıfta bulunarak, “karıştırıcılar bile Amerikan Abrams tanklarını kurtaramaz” deniyordu; bu da Ukrayna’ya yüksek teknolojili zırh göndermenin anlamsız olduğu noktasını güçlendiriyordu.

Raporda, video yaratıcılarının içeriklerinin daha meşru görünmesini sağlamak için ElevenLabs teknolojisi de dahil olmak üzere sesle üretilen yapay zekayı “büyük olasılıkla” kullandıkları belirtiliyor. Bunu doğrulamak için Recorded Future’ın araştırmacıları, klipleri ElevenLabs’ın kendi AI Konuşma Sınıflandırıcısına gönderdi; bu, herkese “ElevenLabs kullanılarak bir ses klibinin oluşturulup oluşturulmadığını tespit etme” olanağı sağlıyor ve bir eşleşme elde ediyor.

ElevenLabs yorum taleplerine yanıt vermedi. Recorded Future, çeşitli ticari yapay zeka ses oluşturma araçlarının muhtemel kullanımına dikkat çekmesine rağmen, ElevenLabs dışında başka herhangi bir aracın adını vermedi.

Yapay zeka ses üretiminin kullanışlılığı, etkileme kampanyasının kendi orkestratörleri tarafından yanlışlıkla sergilendi; bunlar, oldukça dikkatsizce, “fark edilebilir bir Rus aksanına” sahip gerçek insan seslendirmelerinin yer aldığı bazı videolar yayınladılar. Buna karşılık, yapay zeka tarafından oluşturulan seslendirmeler İngilizce, Fransızca, Almanca ve Lehçe gibi birden fazla Avrupa dilinde, hiçbir yabancı aksan olmadan konuşuyordu.

Recorded Future’a göre yapay zeka, yanıltıcı kliplerin Avrupa’da konuşulan İngilizce, Almanca, Fransızca, Lehçe ve Türkçe gibi birden fazla dilde (tesadüfen ElevenLabs tarafından desteklenen tüm diller) hızlı bir şekilde yayınlanmasına da olanak sağladı.

Recorded Future, etkinliği, ABD hükümetinin bu Mart ayında “Avrupa’daki gerçek haber kuruluşlarının kimliğine bürünen 60’tan fazla web sitesinden oluşan bir ağ işlettiği ve daha sonra yanıltıcı bilgileri güçlendirmek için sahte sosyal medya hesapları kullandığı” gerekçesiyle onayladığı Rusya merkezli bir kuruluş olan Sosyal Tasarım Ajansı’na bağladı. sahte web sitelerinin içeriği. O dönemde ABD Dışişleri Bakanlığı, tüm bunların “Rusya Federasyonu Hükümeti adına” yapıldığını söylemişti.

Recorded Future’ın sonucuna göre kampanyanın Avrupa’daki kamuoyu üzerindeki genel etkisi minimum düzeydeydi.

Bu, ElevenLabs ürünlerinin kötüye kullanıldığı iddiasıyla ilk kez seçilmiyor. Bloomberg’e göre bir ses sahtekarlığı tespit şirketi, şirketin teknolojisinin, Başkan Joe Biden’ı taklit eden ve Ocak 2024’teki ön seçimler sırasında seçmenleri dışarı çıkıp oy kullanmamaya çağıran otomatik çağrının arkasında olduğu sonucuna vardı. Buna yanıt olarak ElevenLabs, politikacıların seslerinin otomatik olarak engellenmesi gibi yeni güvenlik özellikleri yayınladığını söyledi.

ElevenLabs “yetkisiz, zararlı veya aldatıcı kimliğe bürünmeyi” yasaklıyor ve bunu uygulamak için hem otomatik hem de insan denetimi gibi çeşitli araçlar kullandığını söylüyor.

ElevenLabs, 2022’deki kuruluşundan bu yana patlayıcı bir büyüme yaşadı. TechCrunch’ın daha önce bildirdiğine göre, yakın zamanda ARR’yi bir yıl öncesine göre 25 milyon dolardan 80 milyon dolara çıkardı ve değeri yakında 3 milyar dolara çıkabilir. Yatırımcıları arasında Andreessen Horowitz ve eski Github CEO’su Nat Friedman yer alıyor.