İçeriğe geç
CANLI 23 sa önce Yerli yapay zeka İridaa, kendi modeli “Kuzey”i devreye aldı: Tahmini skorlar rakiplerine göre nerede? 6 gün önce Bu Hafta AI Model Değerlendirmesi (2026-W46) 8 Kas 2026 OpenAI Uyarı Vermeden Hesap Kapatıyor: Aylık 200 Dolarlık Pro Aboneler Bile Etkilendi 8 Kas 2026 Yapay Zekâ 18 Yıllık Kuantum Varsayımını Üç Günde Çözdü: Aaronson-Ambainis Artık Bir Teorem 8 Kas 2026 Gemini 4 Flash ve Yeni Claude İçin İşaretler Artıyor: LMArena’da ‘Hydrogen’, Sızıntıda ‘Hyperion’ Zekâ endeksi lideri Claude Opus 5 (Adaptive Reasoning, Max Effort) · 63,1 15.11.2026
Bülten

Yapay Zeka Haberleri

Hibrit Transformer Modellerinde Büyük Aktivasyon Keşfi: Qwen3.5 ve Kimi Linear’da Yeni Bulgu

Yapay zeka araştırmacıları, hibrit Transformer mimarisine sahip büyük dil modellerinin iç yapısında daha önce bilinmeyen bir fenomen keşfetti.

· 2 dk okuma · 0 yorum

Yapay zekâya sor Paylaş
Kısaca · 3 madde
  1. Yapay zeka araştırmacıları, hibrit Transformer mimarisine sahip büyük dil modellerinin iç yapısında daha önce bilinmeyen bir fenomen keşfetti.
  2. Tam dikkat katmanları mimaride ne kadar yoğun olursa, PAS'lar ISP'ler aracılığıyla o kadar birbirine bağlanıyor ve sonunda standart tam dikk…
  3. Her iki morfoloji de ön eğitim sırasında erken aşamada ortaya çıkıyor ve çıktı kapısına asimetrik tepki veriyor.

Yapay zeka araştırmacıları, hibrit Transformer mimarisine sahip büyük dil modellerinin iç yapısında daha önce bilinmeyen bir fenomen keşfetti. Stanford Üniversitesi ve diğer kurumlardan araştırmacıların kaleme aldığı yeni bir makale, Qwen3.5, Linear, Nemotron-H ve Zamba2 gibi modellerin tamamlayıcı dikkat katmanlarının, oldukça küçük bir sayıda olmalarına rağmen modelin çıktısı üzerinde beklenenden çok daha büyük bir etkiye sahip olduğunu ortaya koyuyor.

Hibrit Transformer Nedir?

Geleneksel Transformer mimarisindeki en maliyetli bileşen, her katmanda çalışan tam dikkat mekanizmasıdır. Hibrit Transformer modelleri, pahalı tam dikkat katmanlarının bir kısmını daha ucuz, özyinelemeli tarzda katmanlarla değiştirerek hesaplama maliyetini düşürmeyi amaçlıyor. Ancak bu tasarruf, modelin performansında beklenmeyen sonuçlar doğurabiliyor.

Büyük Aktivasyonlar: PAS ve ISP

‘Massive Activations in Hybrid Linear Attention LLMs: Pre-Attention Spikes and Inter-Spike Plateaus’ başlıklı araştırma, hibrit modellerde iki yeni morfoloji keşfetti. Birincisi Pre-Attention Spikes (PAS) – büyük aktivasyonlar tam dikkat katmanlarından hemen önce zirve yapıyor. İkincisi Inter-Spike Plateaus (ISP) – bu aşırı değerler, aradaki doğrusal dikkat katmanları boyunca kalıcı hale gelebiliyor.

Tam dikkat katmanları mimaride ne kadar yoğun olursa, PAS’lar ISP’ler aracılığıyla o kadar birbirine bağlanıyor ve sonunda standart tam dikkatli LLM’lerin stabil büyük aktivasyon morfolojisine geri dönüyor.

Hangi Modeller Etkileniyor?

Araştırma, bu organizasyonun beş farklı doğrusal dikkat mimarisi, altı hibrit konfigürasyon, beş veri alanı ve 1.2 milyar ile 397 milyar parametre arasında değişen açık kaynaklı hibrit modellerde tutarlı olduğunu ortaya koyuyor. Etkilenen modeller arasında Qwen3.5, Linear, Nemotron-H ve Zamba2 yer alıyor.

Her iki morfoloji de ön eğitim sırasında erken aşamada ortaya çıkıyor ve çıktı kapısına asimetrik tepki veriyor. Tam dikkat çıktı kapısı, mutlak büyüklüklerini güçlü bir şekilde azaltıyor ancak katmansal organizasyonlarını ortadan kaldırmıyor.

Araştırmanın Çıkarımları

Bu bulgular, hibrit mimari tasarımında kritik bir denge noktasına işaret ediyor. Az sayıda tam dikkat katmanı kullanmak hesaplama tasarrufu sağlasa da, bu katmanların konumu ve organizasyonu modelin genel davranışı üzerinde orantısız derecede büyük bir etkiye sahip. Araştırmacılar, hibrit modellerin daha verimli olabilmesi için yalnızca parametre sayısına değil, dikkat katmanlarının yerleşim stratejisine de dikkat edilmesi gerektiğini vurguluyor.

Bu keşif, gelecek nesil yapay zeka modellerinin mimari tasarımında hibrit yaklaşımların daha bilinçli kullanılmasına yol açabilir. Qwen3-8B27B modeli Apache 2.0 lisansıyla Hugging Face üzerinde yayınlanmıştı ve bu yeni bulgular, hibrit mimari trendinin neden bu kadar önemli olduğunu somut verilerle ortaya koyuyor.

Kaynak: @rohanpaul_ai (X/Twitter), arxiv.org/abs/2608.12149

Yapay zekâya sor

Haberi seçtiğiniz asistanda hazır bir soruyla açın

Şu haberi 3 maddede özetle: https://aihaber.org/hibrit-transformer-yapay-zeka-makalesi/

Gemini hazır soruyla açılamıyor: soru panonuza kopyalanır, açılan sayfada yapıştırmanız yeterli.

Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Bu haber işinize yaradı mı?

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.

İlgili haberler