Google yapay zekada nöroplastisiteyi taklit etmeyi başardı

Google Research, “Nested Learning” adlı yeni bir makine öğrenimi tekniği geliştirdi. Bu teknik, sürekli öğrenme sırasında yapay zekâların karşılaştığı “katastrofik unutma” adı verilen bir kusuru gidermek üzere tasarlandı. Katastrofik unutma, basitçe anlatmak gerekirse, bir yapay zekâ yeni bilgilerle güncellendiğinde veya yeni bir beceri öğrenmeye çalıştığında önceki bilgilerini unutarak bu alanlarda daha kötü hale gelmesi anlamına geliyor.

Google Research’te geliştirilen yeni Nested Learning yöntemi, insan beyninden ilham alarak bu sorunu çözmeye yardımcı oluyor. Google, bunu mevcut büyük dil modelleri (LLM’ler) ile onların unutkan doğası ve insan beyni arasındaki farkı kapatmak için sağlam bir temel olarak tanımlıyor.

Nested Learning, bir yapay zekâ modelinin mimarisi ve optimizasyon algoritması hakkındaki düşünce biçiminde bir paradigma değişimini içeriyor. Geleneksel olarak yapay zekâ geliştiricileri, modelin mimarisini ve optimizasyon algoritmasını iki ayrı varlık olarak görür. Ancak Nested Learning’de amaç, bu iki unsuru tek bir bütün olarak ele almak.

Nested Learning, yapay zekâ modellerini bir dizi daha küçük, birbirine bağlı, iç içe geçmiş optimizasyon problemleri olarak ele alıyor. Bu alt problemlerin her biri, “çoklu zaman ölçekli güncellemeler” (multi-time-scale updates) adı verilen bir teknikle, bilgisini farklı hızlarda öğrenip güncelleyebiliyor. Bu, insan beynindeki nöroplastisite işlevini taklit ediyor — yani beynin bazı bölgeleri yeni deneyimlere uyum sağlarken eski anıları silmeden adapte olabiliyor. Böylece modelin tamamı tek seferde güncellenip eski bilgileri silmek yerine, Nested Learning yöntemiyle katmanlı ve dinamik bir sistem oluşturuluyor; sistem yeni bilgileri öğrenirken eski bilgileri koruyor.

Google Research, önerdiği ilkeleri kullanarak “Hope” adlı bir kavram kanıtı (proof-of-concept) modeli tasarladı. Bu model, kendi belleğini optimize edebilen, kendini değiştirebilen döngüsel (recurrent) bir mimariye sahip. Hope, “Continuum Memory Systems” adını taşıyan bir sistem kullanıyor. Bu sistem belleği basitçe kısa ve uzun vadeli bellek kovaları olarak değil, kendi frekansında güncellenen katmanlı bellek modüllerinden oluşan bir spektrum olarak ele alıyor. Bu sayede model, zamanla çok daha fazla veriyi zengin ve organize bir biçimde yönetebiliyor ve saklayabiliyor.

Hope modeli, özellikle uzun bağlamlı hafıza testlerinde (örneğin “iğne-samanlık” – Needle-In-Haystack – görevlerinde), yani büyük bir belge içindeki küçük bir detayı hatırlamak zorunda olduğu durumlarda mevcut en gelişmiş modelleri tutarlı biçimde geride bıraktı. Ayrıca genel dil modelleme performansında da daha doğru ve verimli sonuçlar verdi.

Bu gelişmelerin, Google’ın Gemini modelinin gelecek sürümlerinde yer alması bekleniyor. Ne yazık ki Google, bu yeniliklerin amiral gemisi yapay zekâ modeline ne zaman entegre edileceğine dair bir zaman çizelgesi paylaşmadı.