Yaklaşık 3 aydır yazı yazdığım bu köşede, genellikle yapay zekâ alanındaki güncel gelişmelere dair bilgiler vermeyi amaçlıyorum. Bugüne kadar kısaca açıklamaya çalıştığım modellerin ne kadar iyi performanslar üretse de hiçbirine şaşırmadım. Ancak bu yazıda anlatacağım yeni geliştirilen dil modeli dikkatimi fazlasıyla çekti.

Akademik çalışmalar başta olmak üzere araştırmalarda yapay zekâ modellerinden, dil modelleri ya da derin sinir ağları gibi, farklı amaçlarda yıllardır faydalanılıyor. Her geçen gün ise bu araçların bilim insanlarına yardımcı olabileceği alanlar genişliyor ve bu sistemlerin sunduğu potansiyel, bilim dünyasında yeni bir dönemi işaret ediyor.

Bugüne kadar bilim insanlarına yardımcı olan yapay zekâ modelleri, yalnızca beyin fırtınası, kod yazma veya tahmin görevleri gibi sürecin sınırlı kısımlarını üstlenebiliyordu. Ancak Tokyo merkezli Sakana AI ve çeşitlik akademik işbirlikleri tarafından geliştirilen ve AI Scientist (Yapay zekâ Bilim İnsanı) adlı yeni bir araç, bu sınırlamaları aşarak tüm bilimsel süreci bağımsız bir şekilde yürütebilme yeteneğine sahip. Bu model, büyük dil modellerini (LLM) kullanarak bilimsel araştırma yapıyor, hipotez geliştiriyor, kod yazıyor, deneyleri yürütüyor, sonuçları görselleştiriyor. Ayrıca sistem, Aider adlı kodlama asistanı ile deney sonuçlarını toplayarak bunları derin öğrenme algoritmaları yardımıyla bir bulgularını bir makale formatında sunuyor ve ardından bir simüle edilmiş hakem değerlendirme sürecini de üstleniyor. Böylece, bilimsel keşiflerin sürekli bir döngü hâlinde gelişmesini sağlayarak bir bilgi arşivinin büyümesine katkıda bulunuyor.

AI Scientist, üç farklı makine öğrenmesi alt alanında – difüzyon modelleme, dil modelleme ve öğrenme dinamikleri – kullanılarak test edilmiş. Yani bu üç alanda, AI scientist tamamen bağımsız bir şekilde bir araştırma fikri ortaya koymuş, geliştirmiş. Daha sonra bu fikirleri kodlama yaparak test etmiş ve bunların çıktısını bir makale olarak ortaya koymuş. Burada, sistem tarafından bağımsız bir şekilde araştırma fikrinin üretilmesi oldukça dikkat çekici ve gelecek için hem heyecanlaştıran hem de kuşkulandıran bir durum.

Sistemin bir başka dikkat çeken özelliği ise tüm bu süreçleri oldukça düşük bir maliyetle ortaya koyması. Araştırmacılar, AI Scientist'in her bir makale başına sadece 15 dolardan daha az bir maliyetle sonuç üretebildiği belirtiliyor. Bu, araştırmanın daha geniş kitlelere ulaşması ve demokratikleşmesi açısından büyük bir potansiyel taşıyor olabilir. Ayrıca, sistemin ürettiği makaleler, üst düzey makine öğrenmesi konferanslarında kabul edilme eşiğini aşabilecek nitelikte, bu da sistemin gerçek bilimsel süreçlere katkı sağlayabileceğini gösteriyor.

Ancak her ne kadar bu gelişme etkileyici olsa da, sistemin performansı ve sunduğu sonuçlar henüz sınırlı kalıyor. AI Scientist, otomatik olarak bilimsel makaleler yazma konusunda ciddi bir potansiyele sahip, ancak bu makalelerin kalitesi üzerine bazı eleştiriler de var. Sistem, yüzde 65 doğruluk oranıyla insan hakemler tarafından değerlendirilen makalelere benzer düzeyde sonuçlar üretebiliyor​. Bununla birlikte, bu oran, daha karmaşık ve derinlemesine analizler gerektiren bilimsel çalışmalar için yetersiz kalabiliyor. AI Scientist'in ürettiği makaleler, genellikle popüler araştırmalar üzerine kurulu ve daha az bilinen ancak önemli çalışmaları göz ardı edebiliyor. Literatür taramasında popülerliğe eğilim göstermesi, sistemin yenilikçi keşifler yapma potansiyelini kısıtlayabilir. Ayrıca, sistemin ürettiği bazı makalelerin sadece küçük ilerlemeler kaydetmesi, bilim dünyasında devrim yaratmak yerine daha çok rutin araştırmalar için bir araç olarak kalmasına yol açıyor.

AI Scientist'in bir diğer önemli eksikliği ise fiziksel deneyler yapma yeteneğinden yoksun olması. Bilim dünyasında laboratuvar çalışmaları büyük bir öneme sahiptir ve bu tür deneyler, birçok bilimsel keşfin temelini oluşturur. Ancak sistem, hâlâ fiziksel laboratuvar deneyleri yapma yeteneğinden yoksun ve yalnızca makine öğrenmesi gibi dijital alanlarda faaliyet gösterebiliyor. Özellikle, fiziksel deneylerin ve daha karmaşık bilimsel süreçlerin tam anlamıyla otomatize edilebilmesi için sistemin önemli bir yol kat etmesi gerekiyor. Bu durum, sistemin potansiyelini büyük ölçüde sınırlıyor.

Bunun yanında, AI Scientist'in oluşturduğu makalelerde eksiklikler bulunabiliyor. Sistem, deneysel verileri tam anlamıyla optimize edemediği veya yanlış yorumladığı durumlar yaşanabiliyor. Makale yazım sürecinde ise bazen sonuçları yanlış raporlama veya eksik veriler sunma gibi hatalarla karşılaşılıyor. Örneğin, sistem bazı durumlarda deney sonuçlarını abartılı bir şekilde yorumlayarak iyimser sonuçlar çıkarabiliyor. Ayrıca, sistemin oluşturduğu grafiklerde zaman zaman görsel hatalar yaşanması, makalelerin profesyonel bir araştırmacı tarafından gözden geçirilmesi gerektiğini gösteriyor. Tüm bu eksiklikler, AI Scientist'in bilimsel süreçlerde hâlâ insan gözetimine ihtiyaç duyduğunu ortaya koyuyor.

Sonuç olarak, AI Scientist, bilimsel araştırmaların otomatikleştirilmesi konusunda önemli bir adım olarak kabul edilse de, hâlâ birçok eksiklikle karşı karşıya. Sistem, bilim insanlarını tekrar eden görevlerden kurtarıp yaratıcı ve yenilikçi çalışmalara odaklanmalarına olanak tanısa da, tam anlamıyla bağımsız çalışabilmesi için zaman ve geliştirme gerekiyor. AI Scientist'in mevcut hâli, bilimsel süreçleri hızlandıran ve destekleyen bir araç olarak işlev görülebilir, ancak devrim yaratacak bir yapıya sahip değil. Yapay zekânın bu alanda ilerlemesi kaçınılmaz, ancak insan müdahalesine gerek kalmadan bilimsel süreçleri yönetebilmesi şu an için mümkün görünmüyor.

Ayrıca, bu tür sistemlerin etik açıdan bazı tartışmaları da beraberinde getirdiğini göz ardı etmemek gerekiyor. Yapay zekânın, insan denetimi olmadan bilimsel süreçleri devralması, bazı riskleri de barındırıyor. Özellikle veri güvenliği, bilimsel etik ve algoritmaların tarafsızlığı gibi konular bu tür sistemlerin kullanımıyla birlikte daha sık tartışılabilir hale geliyor. AI Scientist gibi modellerin, potansiyel olarak yanlış sonuçlar üretmesi veya bilimsel topluluğu yanıltabilecek hatalar yapması olasılığı da mevcut. Gelecekte, bu sistemlerin daha güvenli ve etik bir şekilde çalışabilmesi için daha fazla denetim ve geliştirme yapılması kaçınılmaz görünüyor.

Not: Geçtiğimiz hafta yayımlanan "Üniversiteler Mezarlığı" başlıklı köşe yazımda, gazeteci Tuğba Tekerek'in adını sehven Tuğba Tekerlek olarak belirttiğimi fark etmiş bulunmaktayım. Bu hatamdan dolayı sayın Tuğba Tekerek'ten içtenlikle özür diler, gerekli düzeltmeyi burada yapmayı bir sorumluluk olarak kabul ederim.

Referanslar

Lu, C., Lu, C., Lange, R. T., Foerster, J., Clune, J. & Ha, D. Preprint at arXiv https://arxiv.org/abs/2408.06292 (2024).