Araştırmacılar ‘Zindanlar ve Ejderhalar’ı kullanarak alışılmadık görevlerde yapay zeka aracısının performansını artırdı

Yapay zeka aracılarını konuşlandırmakla ilgilenen kuruluşların, özellikle de genellikle ezberci görünen iş akışlarında öncelikle bunlara ince ayar yapmaları gerekir. Bazı kuruluşlar, tek bir iş akışında yalnızca bir tür görevi gerçekleştiren aracılar isterken, bazen aracıların uyum sağlamaları umuduyla yeni ortamlara getirilmesi gerekir.

Araştırmacılar Pekin Posta ve Telekomünikasyon Üniversitesi AgentRefine adında yeni bir yöntem tanıttı. Aracılara kendi kendini düzeltmeyi öğretir, bu da daha genelleştirilmiş ve uyarlanabilir yapay zeka aracılarına yol açar.

Araştırmacılar, mevcut ayarlama yöntemlerinin aracıları eğitim veri kümeleriyle veya “tutulan” görevlerle aynı görevlerle sınırladığını ve “uzatılan” veya yeni ortamlarda iyi performans göstermediğini söyledi. Bu çerçevelerle eğitilmiş temsilciler, yalnızca eğitim verileri aracılığıyla ortaya konan kuralları takip ederek hatalarından “öğrenmede” zorluk yaşayacak ve genel aracılara dönüştürülerek yeni iş akışlarına dahil edilemeyeceklerdir.

Bu sınırlamayla mücadele etmek için AgentRefine, modelin hatalardan ders almasını ve yeni iş akışlarına uyum sağlamasını sağlayan daha genelleştirilmiş aracı eğitimi veri kümeleri oluşturmayı hedefliyor. Yeni bir makaledeAraştırmacılar, AgentRefine’ın hedefinin “genelleştirilmiş aracı ayarlama verileri geliştirmek ve aracı genellemesi ile kendi kendini iyileştirme arasındaki ilişkiyi kurmak” olduğunu söyledi. Temsilciler kendi kendilerini düzeltirlerse öğrendikleri hataları sürdüremeyecek ve aynı hataları konuşlandırıldıkları diğer ortamlara getirmeyeceklerdir.

Araştırmacılar, “Kendi kendini iyileştirme verileri üzerinde temsilci ayarlamasının, aracının kötü durumlarla karşılaşırken daha uygulanabilir eylemleri keşfetmesini geliştirdiğini ve böylece yeni aracı ortamlarına daha iyi genelleme sağladığını bulduk” diye yazıyor.

D&D’den ilham alan yapay zeka ajanı eğitimi

İpuçlarını masa üstü rol yapma oyunundan alıyorlar Zindanlar ve Ejderhalar, araştırmacılar temsilcinin takip edebileceği karakterler, senaryolar ve zorluklar yarattı. Ve evet, bir Zindan Ustası (DM) var.

AgentRefine için veri oluşturmayı üç alana ayırdılar: komut dosyası oluşturma, yörünge oluşturma ve doğrulama.

Komut dosyası oluşturmada model, ortam, görevler ve kişilerin gerçekleştirebileceği eylemler hakkında bilgi içeren bir komut dosyası veya kılavuz oluşturur. (Araştırmacılar AgentRefine’i Llama-3-8B-Instruct, Llama-3-70B-Instruct, Mistral-7B-Instruct-v0.3, GPT-4o-mini ve GPT-4o kullanarak test etti)

Model daha sonra hataları olan ve yörünge aşamasında hem DM hem de oyuncu olarak hareket eden aracı verileri üretir. Yapabileceği eylemleri değerlendirir ve bunların hata içerip içermediğine bakar. Son aşama olan doğrulama, senaryoyu ve gidişatı kontrol ederek eğittiği ajanların kendi kendini düzeltme potansiyeline olanak tanır.

Daha iyi ve daha çeşitli görev yetenekleri

Araştırmacılar, AgentRefine yöntemi ve veri kümesi kullanılarak eğitilen temsilcilerin çeşitli görevlerde daha iyi performans gösterdiğini ve yeni senaryolara adapte olduğunu buldu. Bu aracılar, hatalardan kaçınmak için eylemlerini ve karar verme süreçlerini yeniden yönlendirmek amacıyla kendi kendilerini daha fazla düzeltir ve süreçte daha sağlam hale gelir.

AgentRefine özellikle tüm modellerin performansını uzun süren görevlerde çalışacak şekilde geliştirdi.

Kuruluşlar, temsilcilerin yalnızca öğrendiklerini tekrarlamamaları ve böylece daha iyi karar vericiler olabilmeleri için göreve daha uyumlu hale getirmelidir. Aracıları düzenlemek, yalnızca birden fazla aracı için “trafiği doğrudan” sağlamakla kalmaz, aynı zamanda aracıların kullanıcı isteklerine göre görevleri tamamlayıp tamamlamadığını da belirler.

OpenAIo3 “program sentezi” sunar bu da görev uyumluluğunu geliştirebilir. Diğer orkestrasyon ve eğitim çerçeveleri, Magentic-One gibi itibaren Microsoftdenetleyici aracıların, görevleri farklı aracılara ne zaman taşıyacaklarını öğrenmeleri için eylemleri ayarlar.