OpenScholar: Bilimsel araştırmalarda GPT-4o’dan daha iyi performans gösteren açık kaynaklı yapay zeka

Bilim insanları veriler içinde boğuluyor. Her yıl yayınlanan milyonlarca araştırma makalesi nedeniyle, en kendini işine adamış uzmanlar bile kendi alanlarındaki en son bulgulardan haberdar olmakta zorlanıyor.

Yeni bir yapay zeka sistemi adı verildi OpenScholararaştırmacıların bilimsel literatüre nasıl eriştiği, değerlendirdiği ve sentezlediğine ilişkin kuralları yeniden yazma sözü veriyor. Tarafından inşa edilmiştir Allen Yapay Zeka Enstitüsü (Ai2) ve Washington ÜniversitesiOpenScholar, karmaşık araştırma sorularına alıntı destekli, kapsamlı yanıtlar sunmak için son teknoloji erişim sistemlerini ince ayarlanmış bir dil modeliyle birleştirir.

OpenScholar araştırmacıları şunları yazdı: “Bilimsel ilerleme, araştırmacıların büyüyen literatürü sentezleme yeteneğine bağlıdır.” onların kağıtları. Ancak bu yetenek, bilgi hacmi nedeniyle giderek daha fazla kısıtlanıyor. OpenScholar’ın ileriye yönelik bir yol sunduğunu öne sürüyorlar; bu yol yalnızca araştırmacıların makale yağmuru içinde gezinmesine yardımcı olmakla kalmıyor, aynı zamanda OpenAI gibi tescilli yapay zeka sistemlerinin hakimiyetine de meydan okuyor. GPT-4o.

OpenScholar’ın yapay zeka beyni 45 milyon araştırma makalesini saniyeler içinde nasıl işliyor?

OpenScholar’ın özünde, birden fazla veri deposundan yararlanan, erişimle zenginleştirilmiş bir dil modeli bulunmaktadır. 45 milyon açık erişimli akademik makale. Bir araştırmacı bir soru sorduğunda OpenScholar, GPT-4o gibi modellerin sıklıkla yaptığı gibi yalnızca önceden eğitilmiş bilgilerden yanıt oluşturmaz. Bunun yerine aktif olarak ilgili makaleleri alır, bulgularını sentezler ve bu kaynaklara dayalı bir yanıt üretir.

Gerçek edebiyatta “temelde” kalabilme yeteneği, önemli bir farklılaştırıcıdır. Yeni bir kıyaslama kullanılarak yapılan testlerde ScholarQABenchAçık uçlu bilimsel sorularda yapay zeka sistemlerini değerlendirmek için özel olarak tasarlanan OpenScholar, üstün başarı elde etti. Sistem, GPT-4o gibi çok daha büyük özel modellerden bile daha iyi performans göstererek, gerçeklik ve alıntı doğruluğu açısından üstün bir performans gösterdi.

Özellikle lanetleyici bulgulardan biri, GPT-4o’nun yapay alıntılar (yapay zekanın tabiriyle halüsinasyonlar) üretme eğilimiydi. Biyomedikal araştırma sorularını yanıtlamakla görevlendirilen GPT-4o, vakaların %90’ından fazlasında var olmayan makalelere atıfta bulundu. OpenScholar ise tam tersine doğrulanabilir kaynaklara sıkı sıkıya bağlı kaldı.

Gerçek, alınan belgelere dayanmak esastır. Sistem, araştırmacıların “kendi” olarak tanımladıkları şeyi kullanıyor.kendi kendine geri bildirimli çıkarım döngüsü” ve “kaliteyi artıran ve ek bilgileri uyarlanabilir bir şekilde birleştiren doğal dil geri bildirimi yoluyla çıktılarını yinelemeli olarak iyileştirir.”

Araştırmacılar, politika yapıcılar ve iş dünyası liderleri için sonuçları önemlidir. OpenScholar, bilimsel keşifleri hızlandırmak için önemli bir araç haline gelebilir ve uzmanların bilgiyi daha hızlı ve daha güvenli bir şekilde sentezlemelerine olanak sağlayabilir.

David ve Goliath savaşının içinde: Açık kaynaklı yapay zeka, Büyük Teknoloji ile rekabet edebilir mi?

OpenScholar’ın ilk çıkışı, yapay zeka ekosisteminin giderek daha fazla kapalı, özel sistemler tarafından domine edildiği bir zamanda gerçekleşti. OpenAI’ninki gibi modeller GPT-4o ve Antropik Claude Etkileyici yetenekler sunarlar ancak pahalıdırlar, şeffaf değildirler ve birçok araştırmacı için erişilemezdirler. OpenScholar tamamen açık kaynak olmasıyla bu modeli tersine çeviriyor.

OpenScholar ekibi yalnızca kod dil modeli için değil aynı zamanda tamamı için geri alma boru hattıuzmanlaşmış 8 milyar parametreli model Bilimsel görevler için ince ayar yapılmış ve veri deposu bilimsel makalelerden. Araştırmacılar, “Bildiğimiz kadarıyla bu, bir bilimsel asistan LM için verilerden eğitim tariflerine ve model kontrol noktalarına kadar eksiksiz bir hattın ilk açık sürümüdür” diye yazdı. blog yazısı sistemi duyuruyorum.

Bu açıklık sadece felsefi bir duruş değildir; aynı zamanda pratik bir avantajdır. OpenScholar’ın daha küçük boyutu ve modern mimarisi, onu özel sistemlerden çok daha uygun maliyetli hale getirir. Örneğin, araştırmacılar şunu tahmin ediyor: OpenScholar-8B işletilmesi 100 kat daha ucuzdur KağıtQA2GPT-4o üzerine kurulu eşzamanlı bir sistem.

Bu maliyet verimliliği, gelişmekte olan ülkelerdeki küçük kurumlar, yetersiz finanse edilen laboratuvarlar ve araştırmacılar için güçlü yapay zeka araçlarına erişimi demokratikleştirebilir.

Yine de OpenScholar’ın sınırlamaları yoktur. Veri deposu açık erişimli makalelerle sınırlıdır ve bazı alanlara hakim olan ödeme duvarlı araştırmaları dışarıda bırakır. Bu kısıtlama, yasal olarak gerekli olmasına rağmen sistemin tıp veya mühendislik gibi alanlardaki kritik bulguları gözden kaçırabileceği anlamına gelir. Araştırmacılar bu boşluğu kabul ediyor ve gelecekteki yinelemelerin kapalı erişim içeriğini sorumlu bir şekilde dahil edebileceğini umuyorlar.

Yeni bilimsel yöntem: Yapay zeka araştırma ortağınız olduğunda

OpenScholar projesi yapay zekanın bilimdeki rolü hakkında önemli soruları gündeme getiriyor. Sistemin literatürü sentezleme yeteneği etkileyici olsa da yanılmaz değildir. Uzman değerlendirmelerinde, OpenScholar’ın yanıtları %70 oranında insan tarafından yazılan yanıtlara tercih edildi, ancak geri kalan %30’luk kısım, temel makalelerden alıntı yapmamak veya daha az temsili çalışmaları seçmek gibi modelin yetersiz kaldığı alanları vurguladı.

Bu sınırlamalar daha geniş bir gerçeğin altını çiziyor: OpenScholar gibi yapay zeka araçlarının amacı insan uzmanlığının yerini almak değil, onu geliştirmektir. Sistem, zaman alıcı literatür sentezi görevini üstlenerek araştırmacılara yardımcı olmak ve onların yorumlamaya ve bilgiyi ilerletmeye odaklanmalarına olanak sağlamak üzere tasarlanmıştır.

Eleştirmenler, OpenScholar’ın açık erişimli belgelere olan bağımlılığının, araştırmaların çoğunun ödeme duvarlarının arkasında kilitlendiği ilaç gibi yüksek riskli alanlardaki anlık kullanımını sınırladığını belirtebilir. Diğerleri ise sistemin performansının güçlü olmasına rağmen büyük ölçüde alınan verilerin kalitesine bağlı olduğunu savunuyor. Geri alma adımı başarısız olursa, tüm boru hattının optimal olmayan sonuçlar üretme riski vardır.

Ancak sınırlamalarına rağmen OpenScholar bilimsel hesaplamada bir dönüm noktasını temsil ediyor. Daha önceki yapay zeka modelleri konuşmaya katılma yetenekleriyle etkileyiciyken, OpenScholar daha temel bir şeyi gösteriyor: bilimsel literatürü insana yakın doğrulukla işleme, anlama ve sentezleme kapasitesi.

Rakamlar ilgi çekici bir hikaye anlatıyor. OpenScholar’ın 8 milyar parametreli modeli, GPT-4o’dan daha iyi performans göstermesine rağmen çok daha küçüktür. Diğer yapay zekaların %90 oranında başarısız olduğu alıntı doğruluğunda insan uzmanlarla eşleşiyor. Ve belki de en anlamlısı, uzmanların bu yanıtları meslektaşlarının yazdıkları yanıtlara tercih etmesidir.

Bu başarılar, yapay zeka destekli araştırmada yeni bir döneme girdiğimizi gösteriyor; bilimsel ilerlemedeki darboğaz artık mevcut bilgiyi işleme becerimiz değil, doğru soruları sorma kapasitemiz olabilir.

Araştırmacılar her şeyi serbest bıraktık—kod, modeller, veriler ve araçlar— atılımlarını kapalı kapılar ardında tutmaktan ziyade açıklığın ilerlemeyi hızlandıracağına bahse girerler.

Bunu yaparak, yapay zeka geliştirmedeki en acil sorulardan birine cevap verdiler: Açık kaynaklı çözümler Big Tech’in kara kutularıyla rekabet edebilir mi?

Görünüşe göre cevap 45 milyon belgenin arasında açıkça saklanıyor.