Stratejist: Aracılarla Akıl Yürütmenin Geliştirilmesi

Özetle: Bir model, yapay zeka aracı sisteminin yalnızca yarısıdır.

Özet

Bir model, yapay zeka aracı sisteminin yalnızca yarısıdır. Diğer yarısı çıkarım stratejisidir: model çağrılarını yanıta dönüştüren akıl yürütme prosedürü. Bugün ikinci yarı elle yazılıyor ve bir strateji oluşturma deneyimi asla bir sonrakine aktarılmıyor. Görevler arasında çıkarım stratejilerini geliştiren bir meta aracı olan Strategist'i tanıtıyoruz. Her strateji, diğer stratejilerin yeniden kullanabileceği bir plan, yürütülebilir kod olarak yazılır ve planlar birlikte bir kitaplık oluşturur. Bir görev ve küçük bir geliştirme seti verildiğinde, Stratejist ilgili planları alır, aday stratejiler yazar, bunları gerçek örnekler üzerinde test eder ve sonuçlardan yola çıkarak bunları revize eder. Daha sonra her aday kütüphaneye girer, böylece daha sonraki görevler daha önceki keşiflerin üzerine kurulur. Strategist, 30 kıyaslamada en güçlü temeli 24'te geride bıraktı ve ortalama doğruluğunu (%74,7'ye karşı %74,0) %39 daha düşük çıkarım maliyetiyle eşleştirdi. Stratejileri ayrıca daha fazla araştırmaya gerek kalmadan görünmeyen görevlere ve diğer modellere de aktarılır. Yapay zeka sisteminin kendi başına geliştirilemeyen kısmı artık geliştiriliyor.

Orijinal Özet (İngilizce)

A model is only half of an AI agent system. The other half is the inference strategy: the reasoning procedure that turns model calls into a response. Today that second half is written by hand, and the experience of building one strategy never carries to the next. We introduce Strategist, a meta-agent that evolves inference strategies across tasks. Each strategy is written as a blueprint,executable code that other strategies can reuse, and together the blueprints form a library. Given a task and a small development set, Strategist retrieves related blueprints, writes candidate strategies, tests them on real samples, and revises them from the results. Every candidate then enters the library, so later tasks build on earlier discoveries. On 30 benchmarks, Strategist beats the strongest baseline on 24 and matches its average accuracy (74.7% vs.74.0%) at 39% lower inference cost. Its strategies also transfer to unseen tasks and other models without further search. The part of an AI system that is not improved on its own now does.

Kaynak: arXiv:2611.03618 · PDF