Farklı sektörlerdeki profesyoneller, bilgi güvenliği eğitim materyalleri oluşturmak da dahil olmak üzere çeşitli görevler için üretken yapay zekayı araştırıyor, ancak bu gerçekten etkili olacak mı?
Rensselaer Politeknik Enstitüsü’nde bilgi teknolojisi ve web bilimleri alanında kıdemli öğretim görevlisi ve yüksek lisans program yöneticisi Brian Callahan ve aynı programda lisans öğrencisi olan Shoshana Sugerman, bu konuyla ilgili deneylerinin sonuçlarını Ekim ayında Las Vegas’ta düzenlenen ISC2 Güvenlik Kongresi’nde sundular. .
Deney, ChatGPT kullanarak siber eğitim oluşturmayı içeriyordu
Deneyin ana sorusu şuydu: “Güvenlik profesyonellerini, yapay zekanın gerçekçi güvenlik eğitimi oluşturması için daha iyi yönlendirmeler yapma konusunda nasıl eğitebiliriz?” Buna bağlı olarak, güvenlik profesyonelleri aynı zamanda üretken yapay zeka ile etkili eğitim tasarlama konusunda hızlı mühendisler mi olmalı?
Bu soruları yanıtlamak için araştırmacılar aynı görevi üç gruba verdi: ISC2 sertifikasına sahip güvenlik uzmanları, kendilerini hızlı mühendislik uzmanları olarak tanımlayan kişiler ve her iki yeterliliğe de sahip kişiler. Görevleri ChatGPT’yi kullanarak siber güvenlik farkındalığı eğitimi oluşturmaktı. Daha sonra eğitim kampüs topluluğuna dağıtıldı ve burada kullanıcılar materyalin etkililiğine ilişkin geri bildirimde bulundu.
Araştırmacılar eğitimin kalitesinde önemli bir fark olmayacağını varsaydılar. Ancak bir fark ortaya çıkarsa hangi becerilerin en önemli olduğu ortaya çıkacaktı. Güvenlik uzmanları veya hızlı mühendislik profesyonelleri tarafından oluşturulan istemlerin daha etkili olduğu ortaya çıkar mı?
BAKINIZ: Yapay zeka aracıları, yapay zekanın üstesinden gelebileceği görevlerin karmaşıklığını artırmanın bir sonraki adımı olabilir.
Eğitime katılanlar materyale yüksek puan verdi ancak ChatGPT hatalar yaptı
Araştırmacılar, elde edilen ve biraz düzenlenmiş ancak çoğunlukla yapay zeka tarafından oluşturulan içeriği içeren eğitim materyallerini Rensselaer öğrencilerine, öğretim üyelerine ve personeline dağıttı.
Sonuçlar şunu gösterdi:
- Hızlı mühendisler tarafından tasarlanan eğitimi alan kişiler, kendilerini sosyal mühendislik saldırılarından kaçınma ve şifre güvenliği konusunda daha becerikli olarak değerlendirdi.
- Güvenlik uzmanları tarafından tasarlanan eğitimi alanlar, sosyal mühendislik saldırılarını tanıma ve bunlardan kaçınma, kimlik avını tespit etme ve anında mühendislik yapma konusunda kendilerini daha becerikli olarak değerlendirdi.
- İkili uzmanlar tarafından tasarlanan eğitimi alan kişiler, kendilerini siber tehditler ve kimlik avını tespit etme konusunda daha becerikli olarak değerlendirdi.
Callahan, güvenlik uzmanları tarafından eğitilen kişilerin, hızlı mühendislik konusunda daha iyi olduklarını hissetmelerinin tuhaf göründüğünü belirtti. Ancak eğitimi oluşturanlar genellikle yapay zeka tarafından yazılan içeriğe pek yüksek puan vermedi.
Callahan, “Kimse ilk geçişlerinin insanlara verilecek kadar iyi olduğunu düşünmüyordu” dedi. “Daha fazla ve daha fazla revizyon gerekiyordu.”
Bir durumda ChatGPT, kimlik avı e-postalarını bildirmeye yönelik tutarlı ve kapsamlı bir kılavuz gibi görünen bir şey hazırladı. Ancak slaytta yazılan hiçbir şey doğru değildi. Yapay zeka, süreçleri ve bir BT destek e-posta adresini icat etmişti.
ChatGPT’den RPI’nin güvenlik portalına bağlanmasını istemek, içeriği kökten değiştirdi ve doğru talimatlar oluşturdu. Bu durumda araştırmacılar, eğitim materyallerinde yanlış bilgi alan öğrencilere yönelik bir düzeltme yayınladı. Sugerman, eğitime katılanlardan hiçbirinin eğitim bilgilerinin yanlış olduğunu tespit etmediğini belirtti.
Eğitimlerin yapay zeka tarafından yazılıp yazılmadığının açıklanması çok önemli
Callahan, “Doğru şekilde nasıl yönlendireceğinizi biliyorsanız, ChatGPT politikalarınızı çok iyi biliyor olabilir” dedi. Özellikle, RPI’nin tüm politikalarının çevrimiçi olarak kamuya açık olduğunu belirtti.
Araştırmacılar, içeriğin yapay zeka tarafından oluşturulduğunu ancak eğitim gerçekleştirildikten sonra ortaya çıkardı. Tepkiler karışıktı, Callahan ve Sugerman şunları söyledi:
- Pek çok öğrenci, gelecekte bazı yazılı materyallerin yapay zeka tarafından yapılmasını bekleyerek “kayıtsızdı”.
- Diğerleri “şüpheliydi” ya da “korkmuştu.”
- Bazıları, bilgi güvenliğine odaklanan eğitimin yapay zeka tarafından oluşturulmasını “ironik” buldu.
Callahan, yapay zekayı gerçek eğitim materyalleri oluşturmak için kullanan herhangi bir BT ekibinin, bir deney yürütmek yerine, diğer insanlarla paylaşılan herhangi bir içeriğin oluşturulmasında yapay zekanın kullanıldığını açıklaması gerektiğini söyledi.
Callahan, “Üretken yapay zekanın değerli bir araç olabileceğine dair elimizde geçici kanıtların olduğunu düşünüyorum” dedi. “Ancak her araç gibi riskleri de beraberinde getiriyor. Eğitimimizin bazı kısımları tamamen yanlıştı, geniş kapsamlıydı ya da geneldi.”
Deneyin birkaç sınırlaması
Callahan deneyin birkaç sınırlamasına dikkat çekti.
“ChatGPT ve diğer üretken yapay zekaların insanlara, öğrenmemiş olsalar bile bir şeyler öğrenmiş gibi hissettirdiklerine dair literatür var” diye açıkladı.
Callahan, insanlardan öğrendiklerini hissedip hissetmediklerini bildirmelerini istemek yerine gerçek becerileri test etmenin, çalışmaya ayrılandan daha fazla zaman alacağını belirtti.
Sunumdan sonra Callahan ve Sugarman’a tamamen insanlar tarafından yazılan bir kontrol grubu eğitimi kullanmayı düşünüp düşünmediklerini sordum. Yapmışlardı, dedi Callahan. Ancak eğitim verenleri siber güvenlik uzmanları ve hızlı mühendisler olarak ayırmak çalışmanın önemli bir parçasıydı. Üniversite topluluğunda, grupları daha da bölmek için bir kontrol kategorisi oluşturmak için kendini hızlı mühendislik uzmanları olarak tanımlayan yeterli sayıda insan yoktu.
Panel sunumu, küçük bir başlangıç katılımcı grubundan (51 sınav katılımcısı ve 3 sınav yapıcı) elde edilen verileri içeriyordu. Bir takip e-postasında Callahan, TechRepublic’e, ilk deneyin devam eden pilot araştırma olması nedeniyle yayınlanacak son sürümün ek katılımcıları içereceğini söyledi.
Yasal Uyarı: ISC2, 13-16 Ekim’de Las Vegas’ta düzenlenen ISC2 Güvenlik Kongresi etkinliği için uçak biletimi, konaklamamı ve bazı yemekleri ödedi.
Kaynak: https://www.techrepublic.com/article/generative-ai-security-training/