İçeriğe geç
CANLI 23 sa önce Yerli yapay zeka İridaa, kendi modeli “Kuzey”i devreye aldı: Tahmini skorlar rakiplerine göre nerede? 6 gün önce Bu Hafta AI Model Değerlendirmesi (2026-W46) 8 Kas 2026 OpenAI Uyarı Vermeden Hesap Kapatıyor: Aylık 200 Dolarlık Pro Aboneler Bile Etkilendi 8 Kas 2026 Yapay Zekâ 18 Yıllık Kuantum Varsayımını Üç Günde Çözdü: Aaronson-Ambainis Artık Bir Teorem 8 Kas 2026 Gemini 4 Flash ve Yeni Claude İçin İşaretler Artıyor: LMArena’da ‘Hydrogen’, Sızıntıda ‘Hyperion’ Zekâ endeksi lideri Claude Opus 5 (Adaptive Reasoning, Max Effort) · 63,1 15.11.2026
Bülten

Yapay Zeka Haberleri

Hibrit Transformer Modellerinde Buyuk Aktivasyon Kesfi: Qwen3.5 ve Kimi Linear’da Yeni Bulgu

Yapay zeka arastirmacilari, hibrit Transformer mimarisine sahip buyuk dil modellerinin ic yapısında daha once bilinmeyen bir fenomen kesfetti.

· 2 dk okuma · 0 yorum

Yapay zekâya sor Paylaş
Kısaca · 3 madde
  1. Yapay zeka arastirmacilari, hibrit Transformer mimarisine sahip buyuk dil modellerinin ic yapısında daha once bilinmeyen bir fenomen kesfetti.
  2. Tam dikkat katmanlari mimaride ne kadar yogun olursa, PAS'lar ISP'ler araciligiyla o kadar birbirine baglaniyor ve sonunda standart tam dikk…
  3. Her iki morfoloji de on egitim sirasinda erken asamada ortaya cikiyor ve cikti kapisina asimetrik tepki veriyor.

Yapay zeka arastirmacilari, hibrit Transformer mimarisine sahip buyuk dil modellerinin ic yapısında daha once bilinmeyen bir fenomen kesfetti. Stanford Universitesi ve diger kurumlardan arastirmacilarin kaleme aldigi yeni bir makale, Qwen3.5, Linear, Nemotron-H ve Zamba2 gibi modellerin tamamlayici dikkat katmanlarinin, oldukca kucuk bir sayida olmalarina ragmen modelin ciktisi uzerinde beklenenden cok daha buyuk bir etkiye sahip oldugunu ortaya koyuyor.

Hibrit Transformer Nedir?

Geleneksel Transformer mimarisindeki en maliyetli bileşen, her katmanda calisan tam dikkat mekanizmasidir. Hibrit Transformer modelleri, pahali tam dikkat katmanlarinin bir kismini daha ucuz, ozyinelemeli tarzda katmanlarla degistirerek hesaplama maliyetini dusurmeyi amacliyor. Ancak bu tasarruf, modelin performansinda beklenmeyen sonuclar dogurabiliyor.

Buyuk Aktivasyonlar: PAS ve ISP

Massive Activations in Hybrid Linear Attention LLMs: Pre-Attention Spikes and Inter-Spike Plateaus baslikli arastirma, hibrit modellerde iki yeni morfoloji kesfetti. Birincisi Pre-Attention Spikes (PAS) – buyuk aktivasyonlar tam dikkat katmanlarindan hemen once zirve yapiyor. Ikincisi Inter-Spike Plateaus (ISP) – bu asiri degerler, aradaki dog-rusal dikkat katmanlari boyunca kalici hale gelebiliyor.

Tam dikkat katmanlari mimaride ne kadar yogun olursa, PAS’lar ISP’ler araciligiyla o kadar birbirine baglaniyor ve sonunda standart tam dikkatli LLM’lerin stabil buyuk aktivasyon morfolojisine geri donuyor.

Hangi Modeller Etkileniyor?

Arastirma, bu organizasyonun bes farkli dog-rusal dikkat mimarisi, alti hibrit konfigurasyon, bes veri alani ve 1.2 milyar ile 397 milyar parametre arasinda degisen acik kaynakli hibrit modellerde tutarli oldugunu ortaya koyuyor. Etkilenen modeller arasinda Qwen3.5, Linear, Nemotron-H ve Zamba2 yer aliyor.

Her iki morfoloji de on egitim sirasinda erken asamada ortaya cikiyor ve cikti kapisina asimetrik tepki veriyor. Tam dikkat cikti kapisi, mutlak buyukluklerini guclu bir sekilde azaltiyor ancak katmansal organizasyonlarini ortadan kaldirmiyor.

Arastirmanin Cikarimlari

Bu bulgular, hibrit mimari tasariminda kritik bir denge noktasina isaret ediyor. Az sayida tam dikkat katmani kullanmak hesaplama tasarrufu saglasa da, bu katmanlarin konumu ve organizasyonu modelin genel davranisi uzerinde orantisiz derecede buyuk bir etkiye sahip. Arastirmacilar, hibrit modellerin daha verimli olabilmesi icin yalnizca parametre sayisina degil, dikkat katmanlarinin yerlesim stratejisine de dikkat edilmesi gerektigini vurguluyor.

Bu kesif, gelecek nesil yapay zeka modellerinin mimari tasariminda hibrit yaklasimlarin daha bilincli kullanilmasina yol acablir. Qwen3-8B27B modeli Apache 2.0 lisansıyla yayınlanmisti ve bu yeni bulgular, hibrit mimari trendinin neden bu kadar onemli oldugunu somut verilerle ortaya koyuyor.

Kaynak: @rohanpaul_ai (X/Twitter), arxiv.org/abs/2608.12149

Yapay zekâya sor

Haberi seçtiğiniz asistanda hazır bir soruyla açın

Şu haberi 3 maddede özetle: https://aihaber.org/hibrit-transformer-yapay-zeka-makalesi-2/

Gemini hazır soruyla açılamıyor: soru panonuza kopyalanır, açılan sayfada yapıştırmanız yeterli.

Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Bu haber işinize yaradı mı?

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.

İlgili haberler