Kurumsal Yapay Zekada Token Optimizasyonu: 90/1/9 Kuralı

Kurumsal yapay zeka maliyetleri kontrol altına alamıyor. Yeni bir analiz, şirketlerin yapay zeka token harcamalarını %90’a kadar azaltabileceğini ortaya koyuyor. Varick Agents CEO’su Vas’ın kaleme aldığı makaleye göre, çoğu kurumsal iş akışı aslında deterministik adımlardan oluşuyor ve yapay zeka orada gereksiz yere pahalı modeller kullanıyor.

Şirketler yapay zeka benimsemesini hızlandırırken, token faturaları da büyümeye devam ediyor. Verimlilik artışı marjinal kalırken, yöneticiler neden faturaların büyüdüğünü ve maliyetleri nasıl düşüreceklerini merak ediyor.

90/1/9 Kuralı: Doğru Modeli Doğru Göreve Atamak

Varick Agents’ın geliştirdiği metodolojiye göre, her iş akışı bireysel görevlere ayrıştırılmalı ve her görev için en küçük ama güvenilir model kullanılmalı. Bu yaklaşım 90/1/9 kuralı olarak adlandırılıyor:

• %90 non-frontier: Basit görevler için küçük, ucuz modeller (örneğin Gemini 3.6 Flash). Birçok adımda hiç modele gerek yok, sadece kod yeterli.
• %9 near-frontier: Orta düzey muhakeme gerektiren görevler için güçlü ama en pahalı olmayan modeller.
• %1 frontier: Yalnızca en karmaşık kararlar için en güçlü frontier modeller (örneğin Opus).

Bu dağıtım, her şeyi frontier model ile çalıştırmaya kıyasla %90’a varan maliyet tasarrufu sağlıyor.

İş Akışı Değil, Bireysel Görev Otomasyonu

Makalede en önemli vurgulardan biri şu: İş akışı seviyesinde otomasyon yanlış birimdir. Doğru yaklaşım, iş akışını oluşturan bireysel görevlere ayrıştırmak ve her birinin gerçekten ne kadar yapay zeka muhakemesi gerektirdiğini değerlendirmektir.

Çoğu kurumsal iş akışı görünüşte karmaşık olsa da aslında büyük oranda deterministik adımlardan oluşuyor. Bu adımlar:

• Alan eşleşmelerini kontrol etmek
• Veriyi bir sistemden diğerine taşımak
• Basit kurallar uygulamak

Bunların hiçbiri için pahalı yapay zeka modellerine gerek yok; sadece kod yeterli.

Kontekst Yönetimi ve Önbellekleme

Metodolojinin bir diğer kritik bileşeni kontekst yönetimi. Her LLM çağrısına gereksiz tüm geçmişi eklemek, token tüketimini şişiriyor. İyi bir harness:

• Sadece karar için gerekli minimum bağlamı gönderir
• Bilinen çıktıları önbelleğe alarak tekrar üretimi önler
• Modelin ihtiyaç duymadığı bilgileri filtreler

Örneğin bir fatura satır kalemi işlenirken, her seferinde tüm işlem geçmişini göndermek yerine sadece o satırla ilgili bilgi gönderilmeli.

Yapay Zeka Yatırımından Gerçek Verimlilik Nasıl Alınır?

Token harcaması yerine yapay zeka yatırımının ROI’sini ölmek, gelecekte kurumsal AI başarısının anahtarı olacak. Birçok şirket şu anda yapay zekayı her yere uygulamaya çalışıyor, ancak asıl mesele nereye uygulanacağını bilmek.

Doğru strateji: İş akışınızı adım adım analiz edin, deterministik adımları kod ile değiştirin, geri kalan görevleri en küçük uygun modele atayın ve bağlamı minimumda tutun. Bu yaklaşım, maliyetleri düşürürken doğruluğu artırıyor.

AIhaber.org İlgili İçerikler

• Şirketler Yapay Zeka Harcamalarında 625 Kat Fark
• Yapay Zeka Becerileri Zararlı Olabilir
• Programmatic Tool Calling ve Yapay Zeka Öğrenmesi

Kaynak: @EXM7777 (X/Twitter)