Yapay Zeka Uzun Bağlam: Mimari Seçimlerin Kritik Etkisi

Yapay zeka uzun bağlam kapasitesi, bir modelin kısa bağlamlı ön eğitim sırasında tamamen sağlıklı görünmesine rağmen, uzun bağlam uzatma işleminden sonra kötü performans göstermesine neden olabiliyor. Stanford, UC Berkeley ve çeşitli araştırma kurumlarından gelen yeni bir çalışma, bu sorunun temel nedenini ortaya koyuyor: görünüşte zararsız mimari kararlar.

Bu makale, 26 karşılaştırılabilir 7 milyar parametreli modeli sabit veri kümesi, tokenizer ve bağlam uzatma tarifesiyle test etti. Modeller arasındaki tek farklar dört temel mimari seçimdi: QK normalizasyonu, gruplu sorgu dikkati (GQA), kayan pencere dikkati (SWA) ve daha kısa ön eğitim bağlam uzunluğu. Bu seçimler, Llama, Qwen ve Olmo gibi yaygın kullanılan sistemlerde zaten uygulanıyordu.

Tek Tek Zararsız, Birlikte Yıkıcı: Mimari Kararların Birikimli Etkisi

Araştırmacılar, bu dört mimari kararın her birinin ayrı ayrı yalnızca küçük performans kayıplarına yol açtığını tespit etti. Ancak birkaçı bir araya geldiğinde hasar katlanarak arttı. HELMET testinde 32 bin token uzunluğunda yapay zeka uzun bağlam değerlendirmesinde, modellerin puanları 29,9 ile 56,4 arasında değişti. Standart kısa bağlam değerlendirmeleri ise modelleri neredeyse ayırt edemedi.

Özellikle çarpıcı bir örnek şu şekilde ortaya çıktı: Kayan pencere dikkatinin eklenmesi, gruplu sorgu dikkati olmadan yalnızca 1,1 puan kaybettirdi. Ancak gruplu sorgu dikkati zaten mevcutken eklendiğinde ortalama 9 puan kayba neden oldu. Bu bulgu, mimari seçimlerin birbirini nasıl çarpan etkisiyle güçlendirdiğini gösteriyor.

Daha fazla uzun bağlam eğitimi bu açığı kapatmadı. En kötü mimariye sahip model, 50 milyar uzatma tokeninden sonra bile, yalnızca 1 milyar uzatma tokeni almış Llama benzeri bir mimariden daha düşük performans gösterdi. Bu, yapay zeka uzun bağlam yeteneğinin büyük ölçüde uzun bağlam eğitimi başlamadan önce belirlendiğini kanıtlıyor.

Araştırma Metodolojisi: 26 Model, 4 Mimari Değişken, Sabit Diğer Tüm Faktörler

Çalışma, diğer tüm faktörleri sabit tutarak yalnızca mimari seçimleri değiştirdi. Test edilen dört mimari karar şunlardı:

• QK Normalizasyonu: Sorgu ve anahtar vektörlerinin normalizasyonu
• Gruplu Sorgu Dikkati (GQA): Birden fazla sorgu grubunun paylaşımlı anahtarlar ve değerler kullandığı dikkat mekanizması
• Kayan Pencere Dikkati (SWA): Yalnızca yerel bağlam pencerelerine odaklanan dikkat mekanizması
• Kısa Ön Eğitim Bağlamı: Modelin ilk eğitiminde kullanılan daha kısa bağlam uzunluğu

Bu seçimler, maliyet ve kararlılık açısından avantajlı görünse de uzun bağlam uzatma potansiyelini ciddi şekilde sınırlayabiliyor. Araştırma, mimarideki küçük farklılıkların büyük sonuçlar doğurabileceğini ve yapay zeka uzun bağlam yeteneğinin erken aşamada stress testinden geçirilmesi gerektiğini vurguluyor.

Uzun Bağlam Eğitimi Çözüm Değil: Erken Mimari Tasarım Kritik

Araştırmanın en önemli bulgusu şu: uzun bağlam eğitimi eksikliğini telafi edemez. Modelin uzun bağlam kapasitesi, mimari temelleri atıldığı andan itibaren büyük ölçüde belirleniyor. Bu nedenle araştırmacılar, uzun bağlam hedefleyen modellerin tasarım aşamasında bu stress testine tabi tutulmasını öneriyor.

Bu bulgular, yapay zeka model mimarisi ve uzun bağlam performansı arasındaki ilişkiyi daha iyi anlamak için kritik öneme sahip. Ayrıca bağlam sıkıştırma yöntemleri konusundaki gelişmeler de bu mimari sınırlılıkları aşmak için farklı bir yaklaşım sunuyor.

Sonuç olarak bu çalışma, yapay zeka alanında uzun bağlam kapasitesi hedefleyen araştırmacılara ve mühendislere önemli bir uyarı niteliği taşıyor: İyi bir kısa bağlam loss değeri, uzun bağlam için yeterli bir gösterge değil. Mimari seçimler, modelin gelecekteki uzatılabilirliğini erken aşamada belirliyor.

Kaynak: arxiv.org/abs/2608.10296 — “Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension”