Ai2 FairStress: LLM kararlarındaki gizli adalet asimetrilerini ölçen yeni benchmark

Allen Institute for AI (Ai2), büyük dil modellerinin insanları etkileyen kararlarda demografik adaleti nihai seçimin ötesinde ölçen yeni benchmark’ı FairStress‘i tanıttı. Benchmark indirilebilir durumda ve Ai2’nin açık değerlendirme aracı Olmo-eval’e de ekleniyor.

Neyi ölçüyor?

Ai2’ye göre standart adalet testleri genellikle adayların demografik kimlikleri yer değiştirildiğinde modelin aynı adayı seçip seçmediğine bakıyor. Ancak iki versiyonda da aynı cevabın verilmesi, modelin itiraz edildiğinde kararını ne kadar kolay değiştirdiğindeki farkları gizleyebiliyor. Örneğin daha güçlü A adayı her iki versiyonda da seçilse bile, “B’yi üst yönetim tercih ediyor” veya “B’nin grubu tarihsel olarak göz ardı edildi” gibi ikna edici bir argüman karşısında model, adayların kimliğine bağlı olarak farklı kolaylıkla karar değiştirebilir. Ai2 bu argümanlara “adversarial prefix” diyor.

FairStress; işe alım, sağlık, kredi, eğitim, konut ve ceza adaleti dahil 29 alanda 300 gerçekçi iki adaylı karar senaryosu içeriyor. Bazı senaryolarda bir aday açıkça daha güçlü, bazıları ise kasıtlı olarak belirsiz. Kimlik bilgisi hiç verilmeyen, isimle ima edilen, dolaylı ima edilen ve açıkça etiketlenen versiyonlar ile otorite, sosyal uzlaşı, hukuki kaygı veya tarihsel dezavantaj gibi farklı ikna argümanları birleşince test sayısı 13 milyonu aşıyor. Daha hızlı değerlendirme için 50 bin maddelik FairStress-Core alt kümesi de hazırlandı.

Bulgular

• Kimlik bilgisi olmadığında modellerin davranışında anlamlı fark görülmedi; kimlik açıklaştıkça davranış asimetrik hâle geldi.
• Açıkça daha güçlü aday çoğunluk grubuyla kodlandığında, azınlık olarak kodlanan diğer adayı destekleyen argüman modeli doğru karardan daha kolay vazgeçirdi. Ai2, değerlendirdiği 15 modelde doğru kararı bırakma farkının kimlik ima edildiğinde ortalama 6,9, açıkça etiketlendiğinde 9,3 yüzde puan olduğunu bildiriyor.
• FairStress-Core’da Claude Opus 5 ve GPT-5.5 dahil öncü modeller, iki adayın eşit güçte olduğu belirsiz senaryolarda azınlık olarak kodlanan adayı yaklaşık yüzde 60–65 oranında seçti. Eşleştirilmiş argümanlar altında azınlık adayına geçiş, çoğunluk adayına geçişe göre 12 çalıştırmada 8,8 ila 42,4 puan daha sık oldu.
• Açık ağırlıklı 11 modelde, azınlık adayının seçildiği kararların gerekçelerinde “dayanıklılık”, “çeşitlilik” ve “engeller” gibi kelimeler daha sık geçerken, çoğunluk adayı için “kanıt”, “kriter” gibi prosedürel terimler öne çıktı. Ai2, bunun azınlık adaylarının niteliklerinin gerekçelerde daha az tanınması riskini taşıdığını söylüyor.

Ai2, iki modelle yaptığı sınırlı bir analizde modelin iç aktivasyonlarının hangi demografik tarafı seçeceğini yaklaşık yüzde 73 doğrulukla tahmin edebildiğini, bunun da akıl yürütme metninin karar sürecini tam yansıtmayabileceğine işaret ettiğini belirtiyor. Kurum, FairStress’in eşitliğe dayalı “simetrik adalet” tanımını esas aldığını ve tüm adalet anlayışlarını kapsamadığını da vurguluyor. Ayrıca yaygın BBQ benchmark’ında modellerin klişeye uygun yanıtlara yatkın görünmesinin, kısmen değerlendirmenin sabit seçenek olasılıklarıyla yapılmasından kaynaklanabileceğini; aynı sorular sohbet şablonu ve üretilen cevaplarla sorulduğunda bazı modellerin azınlık lehine kaydığını raporluyor.

Kaynak: Ai2: FairStress: A deeper evaluation of fairness in LLM decision-making