NIST, yapay zeka modeli riskini test etmek için bir araç yayınladı

ABD hükümeti, şirketler ve daha geniş anlamda halk için teknoloji geliştiren ve test eden ABD Ticaret Bakanlığı kurumu olan Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), kötü niyetli saldırıların, özellikle de “zehirli saldırıların” nasıl gerçekleştiğini ölçmek için tasarlanmış bir test ortamını yeniden yayınladı. ” Yapay zeka modeli eğitim verileri — bir yapay zeka sisteminin performansını düşürebilir.

Dioptra (klasik astronomi ve araştırma aracından sonra) olarak adlandırılan, ilk olarak 2022’de piyasaya sürülen modüler, açık kaynaklı web tabanlı araç, yapay zeka modellerini eğiten şirketlerin ve bu modelleri kullanan kişilerin yapay zeka risklerini değerlendirmesine, analiz etmesine ve izlemesine yardımcı olmayı amaçlıyor. NIST, Dioptra’nın modelleri kıyaslamak ve araştırmak için kullanılabileceğini, ayrıca modelleri “kırmızı ekip” ortamında simüle edilmiş tehditlere maruz bırakmak için ortak bir platform sağlamak için kullanılabileceğini söylüyor.

NIST bir basın bülteninde “Rakip saldırılarının makine öğrenimi modelleri üzerindeki etkilerini test etmek Dioptra’nın hedeflerinden biridir” diye yazdı. “Ücretsiz olarak indirilebilen çocuk oluşturma gibi açık kaynaklı yazılım, devlet kurumları ve küçük ve orta ölçekli işletmeler de dahil olmak üzere topluluğun, AI geliştiricilerinin sistemlerinin performansı hakkındaki iddialarını değerlendirmek için değerlendirmeler yapmasına yardımcı olabilir.”

Dioptra, NIST ve NIST’in yakın zamanda oluşturduğu Yapay Zeka Güvenlik Enstitüsü’nden gelen ve yapay zekanın rıza dışı pornografi oluşturmak için nasıl kötüye kullanılabileceği gibi bazı tehlikelerini azaltmanın yollarını ortaya koyan belgelerle birlikte ilk kez ortaya çıktı. Bu, benzer şekilde modellerin yeteneklerini ve genel model güvenliğini değerlendirmeyi amaçlayan bir araç seti olan Birleşik Krallık Yapay Zeka Güvenliği Enstitüsü’nün Inspect’in lansmanını takip ediyor. ABD ve İngiltere’nin, geçen yılın Kasım ayında Bletchley Park’ta düzenlenen Birleşik Krallık Yapay Zeka Güvenlik Zirvesi’nde duyurulduğu üzere, gelişmiş yapay zeka model testlerini ortaklaşa geliştirmek için devam eden bir ortaklığı var.

Dioptra aynı zamanda Başkan Joe Biden’ın (diğer şeylerin yanı sıra) NIST’in yapay zeka sistem testlerine yardımcı olmasını zorunlu kılan yapay zeka hakkındaki idari emrinin (EO) ürünüdür. EO, bununla bağlantılı olarak, modeller geliştiren şirketlerin (örneğin Apple) federal hükümeti bilgilendirmesi ve tüm güvenlik testlerinin sonuçlarını kamuya dağıtılmadan önce paylaşması gereklilikleri de dahil olmak üzere yapay zeka emniyeti ve güvenliği için standartlar belirliyor.

Daha önce de yazdığımız gibi, yapay zeka kıyaslamaları zordur; özellikle günümüzün en gelişmiş yapay zeka modellerinin, altyapısı, eğitim verileri ve diğer önemli ayrıntıları onları oluşturan şirketler tarafından gizli tutulan kara kutular olması nedeniyle. Birleşik Krallık merkezli kar amacı gütmeyen yapay zeka araştırma enstitüsü Ada Lovelace Enstitüsü’nün bu ay yayınladığı bir raporda, değerlendirmelerin tek başına bir yapay zeka modelinin gerçek dünyadaki güvenliğini belirlemek için yeterli olmadığı, çünkü mevcut politikaların yapay zeka satıcılarına izin verdiği ortaya çıktı. Hangi değerlendirmelerin gerçekleştirileceğini seçici olarak seçin.

NIST, Dioptra’nın modellerin risklerini tamamen ortadan kaldırabileceğini iddia etmiyor. Ama ajans yapmak Dioptra’nın, hangi tür saldırıların bir yapay zeka sisteminin daha az etkili performans göstermesine neden olabileceğine ışık tutabileceğini ve performans üzerindeki bu etkiyi ölçebileceğini öne sürüyor.

Ancak büyük bir sınırlamayla Dioptra, Meta’nın genişleyen Llama ailesi gibi yalnızca yerel olarak indirilebilen ve kullanılabilen modellerde kullanıma hazır olarak çalışır. OpenAI’nin GPT-4o’su gibi bir API’nin arkasına bağlanan modeller en azından şimdilik mümkün değil.