Mistral bir denetleme API’si başlattı

Yapay zeka girişimi Mistral, içerik denetimi için yeni bir API başlattı.

Mistral, Mistral’in Le Chat sohbet robotu platformundaki moderasyona güç veren API’nin aynısı olan API’nin belirli uygulamalara ve güvenlik standartlarına göre uyarlanabileceğini söylüyor. İngilizce, Fransızca ve Almanca da dahil olmak üzere çeşitli dillerdeki metinleri dokuz kategoriden birine sınıflandırmak üzere eğitilmiş, ince ayarlı bir model (Ministral 8B) tarafından desteklenmektedir: cinsel, nefret ve ayrımcılık, şiddet ve tehditler, tehlikeli ve suç içerikli içerik , kendine zarar verme, sağlık, mali, hukuk ve kişisel olarak tanımlanabilir bilgiler.

Mistral, moderasyon API’sinin ham veya konuşma metnine uygulanabileceğini söylüyor.

Mistral bir blog yazısında şunları yazdı: “Geçtiğimiz birkaç ay içinde, endüstride ve araştırma topluluğunda, yönetimin uygulamalar arasında daha ölçeklenebilir ve sağlam olmasına yardımcı olabilecek yeni yapay zeka tabanlı denetim sistemlerine yönelik ilginin arttığını gördük.” “İçerik denetleme sınıflandırıcımız, etkili korumalar için en ilgili politika kategorilerinden yararlanıyor ve niteliksiz tavsiye ve PII gibi model tarafından oluşturulan zararları ele alarak model güvenliğine pragmatik bir yaklaşım getiriyor.”

Yapay zeka destekli denetleme sistemleri teoride faydalıdır. Ancak aynı zamanda diğer yapay zeka sistemlerini rahatsız eden aynı önyargılara ve teknik kusurlara da duyarlıdırlar.

Örneğin, toksisiteyi tespit etmek için eğitilen bazı modeller, bazı Siyah Amerikalılar tarafından kullanılan gayri resmi dilbilgisi olan Afro-Amerikan Yerel İngilizcesindeki (AAVE) ifadeleri orantısız bir şekilde “toksik” olarak görüyor. Çalışmalar, sosyal medyada engelli kişilerle ilgili gönderilerin yaygın olarak kullanılan kamuoyu duyarlılığı ve zehirlilik tespit modelleri tarafından daha olumsuz veya zehirli olarak işaretlenebileceğini buldu.

Mistral, denetleme modelinin son derece doğru olduğunu iddia ediyor ancak aynı zamanda bunun devam eden bir çalışma olduğunu da kabul ediyor.

Şirket, “Ölçeklenebilir, hafif ve özelleştirilebilir denetim araçları oluşturmak ve paylaşmak için müşterilerimizle birlikte çalışıyoruz ve daha geniş bir alana güvenlik gelişmelerine katkıda bulunmak için araştırma topluluğuyla etkileşime girmeye devam edeceğiz” dedi.