Qwen 3.8 27B modeli, NVIDIAnin yeni nesil RTX 5090 ekran kartinda yerel olarak calistirildi ve saniyede 115 token hiz elde edildi. Bu performans, yapay zeka modellerinin tuketici donaniminda ulasabilecegi yeni bir seviyeyi gosteriyor.
Alibabanin Qwen 3.8 27B modeli, 27 milyar parametreli olup kodlama ve mantiksal akil yurutme gorevlerinde yukssek basari sagliyor. Resmi BF16 checkpoint boyutu 55.6 GB olan model, RTX 5090in 32 GB VRAM kapasitesiyle tam BF16 hassasiyetinde calisabildi.
RTX 5090 ile Rekor Hiz
RTX 5090, 32 GB VRAM ile Qwen 3.8 27Byi tam BF16 hassasiyetinde yerel olarak calistirabildi. Kullanicilar tarafindan paylailan videoda, modelin bir kisi kosarken goruntusunu urettigi ve 115 token/saniye hiz elde edildigi gosterildi.
Bu hiz, Qwen 3.8 27Bnin daha once yalnizca yuksek maliyetli sunucu ortamlarinda elde edilen performans seviyesine tuketici donaniminda ulasabildigini kanitliyor.
Neden Onemli?
Yapay zeka modellerinin yerel ortamda calistirilabilmesi hem maliyet tasarrufu sagliyor hem de gizlilik endiselerini azaltiyor. Qwen 3.8 27B gibi guclu modellerin RTX 5090 gibi tuketici GPUlarinda verimli calismasi, bireysel gelistiriciler ve kucuk isletmeler icin yapay zekayi daha erisilebilir hale getiriyor.
Donanim Gereksinimleri
Qwen 3.8 27Byi RTX 5090da calistirmak icin en az 32 GB VRAM gerekiyor. Modelin tam BF16 versiyonu 55.6 GB bellek gerektirdiginden, daha dusuk VRAM kapasiteli kartlarda kuantizasyon teknikleri kullanilmasi gerekiyor.
Ozellikle Qwen 3.8 27B RTX 5090 kombinasyonu, yapay zeka dunyasinda onemli bir donum noktasini temsil ediyor. Artik guclu yapay zeka modelleri masaustu bilgisayarlarda bile verimli sekilde calisabiliyor.
Kaynak: @rohanpaul_ai (X/Twitter)
Henüz yorum yok. İlk yorumu siz yapın!