Meta araştırmacıları Sistem 2 düşüncesini Yüksek Lisans’lara damıtarak karmaşık akıl yürütme performansını artırıyor

Büyük dil modelleri (LLM’ler) basit soruları yanıtlamada çok iyidir ancak akıl yürütme ve planlama gerektiren karmaşık görevlerin üstesinden gelmek için özel yönlendirme teknikleri gerektirir. Genellikle “Sistem 2” teknikleri olarak anılan bu yönlendirme şemaları, LLM’leri bir sorunu çözmeye yönelik ara adımlar oluşturmaya zorlayarak akıl yürütme yeteneklerini geliştirir.

Etkili olmasına rağmen, Sistem 2 teknikleri LLM uygulamalarını yavaşlatır ve hesaplama açısından pahalı hale getirir. Yeni bir makalede, araştırmacılar Meta FUAR Sunmak “Sistem 2 damıtma“LLM’lere karmaşık görevleri ara adımlar gerektirmeden öğreten bir teknik.

Bilişsel bilim ve Yüksek Lisans’ta Sistem 1 ve Sistem 2

Bilişsel bilimde Sistem 1 ve Sistem 2, iki farklı düşünme biçimini ifade eder. Sistem 1 düşüncesi hızlı, sezgisel ve otomatiktir. Kalıpları tanırken, hızlı kararlar verirken veya tanıdık sembolleri anlarken kullandığımız şeydir. Örneğin, trafik işaretlerini tanımlamak, yüzleri tanımak ve temel sembolleri anlamlarıyla ilişkilendirmek için Sistem 1 düşüncesini kullanırız.

Öte yandan Sistem 2 düşüncesi yavaş, bilinçli ve analitiktir. Bilinçli bir çaba gerektirir ve soyut sembolleri manipüle etmek, matematiksel denklemleri çözmek veya bir gezi planlamak gibi karmaşık problemlerin çözümü için kullanılır.

Yüksek Lisans’ların genellikle Sistem 1 düşüncesine benzer olduğu kabul edilir. Çok hızlı bir şekilde metin üretebilirler ancak kasıtlı akıl yürütme ve planlama gerektiren görevlerde zorluk çekerler.

Son yıllarda yapay zeka araştırmacıları, LLM’lerin, nihai yanıtlarını vermeden önce ara akıl yürütme adımları oluşturmalarını teşvik ederek Sistem 2 düşüncesini taklit edecek şekilde yapılabileceğini gösterdi. Örneğin, “Düşünce Zinciri“LLM’ye akıl yürütme sürecini adım adım açıklaması talimatını veren, genellikle mantıksal akıl yürütme görevleri için daha doğru sonuçlara yol açan teşvik edici bir tekniktir. Çeşitli Sistem 2 yönlendirme teknikleri farklı görevler için uyarlanmıştır.

Meta AI araştırmacıları şöyle yazıyor: “Bu yöntemlerin birçoğunun, bu açık mantık nedeniyle daha doğru sonuçlar ürettiği görülüyor, ancak bunu genellikle çok daha yüksek çıkarım maliyeti ve yanıt gecikmesi ile yapıyor.” “İkincisi nedeniyle, bu yaklaşımların çoğu, çoğunlukla Sistem 1 nesillerini kullanan üretim sistemlerinde kullanılmıyor.”

Sistem 2 damıtma

İnsanlarda Sistem 2 düşüncesine ilişkin ilginç bir gözlem, kasıtlı çaba gerektiren bir görevi tekrar tekrar yaptığımızda, bunun yavaş yavaş Sistem 1’imize yerleşmesidir. Örneğin, araba kullanmayı öğrendiğinizde, arabayı kontrol etmek için çok fazla bilinçli çaba harcarsınız. araba, trafik kurallarına uyun ve gezinin. Ancak daha fazla deneyim kazandıkça araba kullanmak ikinci doğanız haline gelir. Artık her adımı düşünmenize gerek yok ve bunları sezgisel ve otomatik olarak gerçekleştirebilirsiniz.

Bu fenomen, Meta AI araştırmacılarına Yüksek Lisans’lar için “Sistem 2 damıtma” geliştirme konusunda ilham verdi.

Damıtma, makine öğreniminde (ML) yaygın bir tekniktir; burada “öğretmen” olarak adlandırılan daha büyük bir model, daha küçük bir modeli veya “öğrenciyi” eğitmek için kullanılır. Örneğin, geliştiriciler sıklıkla aşağıdaki gibi sınır modellerini kullanır: GPT-4 ve Claude’un daha küçük modeller için eğitim örnekleri oluşturması Lama-2 7B.

Ancak Sistem 2 damıtma ayrı bir öğretmen modeli kullanmaz. Bunun yerine araştırmacılar, modelin kendi Sistem 2 muhakeme yeteneklerinden elde edilen bilgiyi hızlı ve bilgi işlem açısından verimli Sistem 1 nesline aktarmanın bir yolunu buldular.

Süreç, LLM’nin Sistem 2 yönlendirme tekniklerini kullanarak bir sorunu çözmesini teşvik ederek başlar. Daha sonra yanıtların doğruluğu denetlenmeyen bir mekanizma aracılığıyla doğrulanır. Örneğin, modele aynı uyarının birden çok kez verildiği “kendi kendine tutarlılık” yöntemini kullanıyorlar. Daha sonra yanıtları karşılaştırılır ve en sık görülen yanıt doğru yanıt olarak kabul edilir ve damıtma veri kümesi için seçilir. Cevaplar çok tutarsızsa örnek ve cevapları atılır.

Daha sonra Sistem 2’nin akıl yürütmesi tarafından oluşturulan ara adımları atarlar ve yalnızca nihai yanıtları saklarlar. Son olarak, ilk soru ve cevaba göre modele ince ayar yaptılar. Bu, modelin akıl yürütme adımlarını atlamasına ve doğrudan cevaba atlamasına olanak tanır.

Sistem 2 damıtma iş başında

Araştırmacılar yöntemlerini bir dizi muhakeme görevi ve dört farklı Sistem 2 yönlendirme tekniği üzerinde değerlendirdiler. Temel model olarak yeni bilgiyi içselleştirme kapasitesine sahip olacak kadar büyük olan Llama-2-70B’yi kullandılar.

Deneylerinde kullandıkları Sistem 2 yaklaşımları arasında Düşünce Zinciri, Sistem 2 Dikkati, Yeniden ifade edin ve yanıtlayın ve Dal-Çöz-Birleştir. Bu tekniklerden bazıları modelin birkaç kez sorulmasını gerektirir, bu da onları hem yavaş hem de pahalı yapar. Örneğin, Rephrase and Respond ilk önce modelden orijinal sorguyu detaylandırarak yeniden ifade etmesini ister ve ardından modeli yeniden ifade edilen soruyla yeniden yönlendirir. Dal-Çöz-Birleştirme daha da karmaşıktır ve modelde birden fazla ileri geri hareket gerektirir.

Sonuçlar, Sistem 2 damıtma işleminin, LLM’lerin karmaşık muhakeme görevlerindeki performansını, genellikle orijinal Sistem 2 yöntemlerinin doğruluğuyla eşleşerek veya onu aşarak önemli ölçüde artırabildiğini göstermektedir. Ek olarak, damıtılmış modeller, ara akıl yürütme adımlarından geçmeleri gerekmediği için çok daha hızlı ve daha az hesaplamayla yanıtlar üretebilir.

Örneğin, önyargılı görüşler veya alakasız bilgilerle başa çıkmak için Sistem 2 Dikkatini kullanan görevlerde damıtmanın başarılı olduğunu buldular. Ayrıca, Yanıtları Açıklığa kavuşturmak ve iyileştirmek için Yeniden Sözcükleme ve Yanıtlamanın kullanıldığı ve görevlerin ayrıntılı bir şekilde değerlendirilmesi ve işlenmesi için kullanıldığı bazı muhakeme görevlerinde de etkileyici sonuçlar gösterdi. Dal-Çöz-Birleştir.

Araştırmacılar, “Birçok durumda, performansı korurken, hatta bazen iyileştirirken, bu Sistem 2 mantığını ara nesiller olmadan LLM’nin çıktılarına ayırmanın mümkün olduğunu gösterdik” diye yazıyor.

Ancak araştırmacılar, insanlar gibi yüksek lisans öğrencilerinin de her türlü muhakeme becerisini hızlı çıkarım mekanizmalarına aktaramadıklarını da buldu. Örneğin, karmaşık matematik muhakeme görevlerini başarılı bir şekilde ayrıştıramadılar. Düşünce Zinciri yönlendirmesi. Bu, bazı görevlerin her zaman kasıtlı muhakeme gerektirebileceğini göstermektedir.

Sistem 2 damıtma hakkında, daha küçük modellerde ne kadar iyi çalıştığı ve damıtmanın, damıtma eğitim veri setinde yer almayan görevlerde modelin daha geniş performansını nasıl etkilediği gibi öğrenilecek çok daha fazla şey var. Modelin zaten test örnekleri hakkında bir tür bilgiye sahip olduğu LLM kıyaslamalarının genellikle kirlenmeye eğilimli olduğunu ve bunun test setlerinde şişirilmiş sonuçlara yol açtığını da belirtmekte fayda var.

Ancak damıtma, her adımda belirli görevleri yerine getiren olgun LLM boru hatları için kesinlikle güçlü bir optimizasyon aracı olacaktır.

Araştırmacılar, “İleriye baktığımızda, yararlı görevleri bu şekilde ayrıştırabilen sistemler, tıpkı insanların yaptığı gibi, henüz iyi yapamadıkları görevler hakkında akıl yürütmeye daha fazla zaman ayırabiliyorlar” diye yazıyor.