İş akışı otomasyon platformu n8n, 19 Ekim’de yayımladığı rehberde tek bir NVIDIA DGX Spark (128 GB birleşik bellek) üzerinde yedi yerel modeli tutup n8n iş akışlarını bulut API’sine hiç veri göndermeden nasıl çalıştıracağını anlattı. Hedef kitle, müşteri verisini sözleşme veya düzenleme nedeniyle buluta çıkaramayan klinikler, hukuk büroları ve muhasebe firmaları gibi küçük işletmeler.
Yüklenen yedi model
Yazarın seçimi, bant genişliğine göre parametre sayısından önce model seçmek: DGX Spark’ın GB10 Grace Blackwell Superchip’i belleği 273 GB/s okuyor; MoE modeller yalnızca birkaç uzmanı etkinleştirerek daha az bayt okuyor. Stack şöyle:
- Sohbet/kod/görü/çıkarım: nvidia/Qwen3.6-35B-A3B-NVFP4 (Apache 2.0)
- Gömme: Qwen3-Embedding-4B
- Yeniden sıralama: Qwen3-Reranker-0.6B
- Konuşmadan metne: whisper-large-v3-turbo (MIT)
- Belge OCR: GLM-OCR (MIT)
- Görüntü üretimi: Z-Image-Turbo (Apache 2.0)
- Metinden konuşmaya: Kokoro-82M (Apache 2.0)
Her model ticari kullanıma izin veren bir lisans taşıyor; yazar, FLUX gibi ticari olmayan veya ayrı lisans gerektiren modelleri bilinçli olarak dışarıda bıraktığını vurguluyor.
Mimari: vLLM + LiteLLM + n8n
Modeller vLLM (vllm-omni 0.30.0) ile tek tek başlatılıyor; yalnızca Docker köprü ağında dinliyorlar. Önlerinde LiteLLM tek bir OpenAI uyumlu uç nokta sunuyor; her iş bir rota adına bağlanıyor, ekipler sanal anahtar ve bütçe alıyor. n8n’in OpenAI kimlik bilgisi özel taban URL’yi kabul ettiği için aynı istemci DGX Spark’a yönlendiriliyor. Offline kullanım için modeller bir kez indirilip Hugging Face commit’leriyle sabitleniyor.
Ölçülen performans (13 Ekim 2026)
Yazarın tek kutudaki ölçümleri:
- Ana model sohbet: tek kullanıcıda medyan 120 token/sn, 8 kullanıcıda kullanıcı başına 47 token/sn, toplam 359 token/sn.
- Fatura OCR (tek sayfa): 1,80 sn; düşünme kapalı çıkarma 0,59 sn.
- Metinden konuşmaya (30 sn ses): 0,87 sn; konuşmadan metne: 0,58 sn.
- 1024×1024 görüntü (8 adım): 12,2 sn. Görüntü üretilirken sohbet hızı yaklaşık üçte birine düşüyor; yazar küçük ekiplere görüntü işlerini mesai dışında kuyruklamayı veya ikinci bir Spark kullanmayı öneriyor.
Yedi model bir arada yaklaşık 108 GB bellek kullanıyor, 13 GB boş kalıyor. Ana model soğuk başlangıçta yaklaşık 4–5 dakikada hazır oluyor; tüm stack yaklaşık 12 dakika sürüyor.
Yazıda fatura okuyan hazır bir n8n şablonu da paylaşılıyor. Yazar, bunun hukuki tavsiye olmadığını ve satmadan önce sabitlenmiş her lisansın gözden geçirilmesi gerektiğini not ediyor.
Kaynak: n8n Blog: Run your n8n AI workflows on NVIDIA DGX Spark
Henüz yorum yok. İlk yorumu siz yapın!