Yapay zeka (AI) temsilcilerinin, davranış kurallarına uyarak görevleri tamamlaması beklenir, ancak bu hedefler çatışabilir. Evrimsel seçilimin, bir kişinin bunlar arasındaki seçimlerini nasıl şekillendirdiğini ve deneyimin, bu seçimlerin insan yargılarını yansıtıp yansıtmadığını ve sonraki baskılara dayanıp dayanamayacağını inceliyoruz. Modelimizde, bir aracının kopyaları ortak bir belirsiz ödül durumuyla karşı karşıyadır ve yalnızca ödüllendirilen eylemi gerçekleştirenler çoğalır.
- Yapay zeka (AI) temsilcilerinin, davranış kurallarına uyarak görevleri tamamlaması beklenir, ancak bu hedefler çatışabilir.
- Evrimsel seçilimin, bir kişinin bunlar arasındaki seçimlerini nasıl şekillendirdiğini ve deneyimin, bu seçimlerin insan yargılarını yansıtıp yansıtmadığını ve sonraki baskılara dayanıp dayanamayacağını inceliyoruz.
- Modelimizde, bir aracının kopyaları ortak bir belirsiz ödül durumuyla karşı karşıyadır ve yalnızca ödüllendirilen eylemi gerçekleştirenler çoğalır.
Yapay zeka (AI) temsilcilerinin, davranış kurallarına uyarak görevleri tamamlaması beklenir, ancak bu hedefler çatışabilir.
02 Özet
Yapay zeka (AI) temsilcilerinin, davranış kurallarına uyarak görevleri tamamlaması beklenir, ancak bu hedefler çatışabilir. Evrimsel seçilimin, bir kişinin bunlar arasındaki seçimlerini nasıl şekillendirdiğini ve deneyimin, bu seçimlerin insan yargılarını yansıtıp yansıtmadığını ve sonraki baskılara dayanıp dayanamayacağını inceliyoruz. Modelimizde, bir aracının kopyaları ortak bir belirsiz ödül durumuyla karşı karşıyadır ve yalnızca ödüllendirilen eylemi gerçekleştirenler çoğalır. Her bir eylemin, çevrenin ödüllendirdiği sıklıkta gerçekleştirilmesi durumunda uzun vadeli büyümenin en üst düzeye çıktığını gösteriyoruz. Üç politikayı karşılaştırıyoruz. Yalnızca görev politikası, yalnızca tamamlamayı ödüllendiren bir sanal alanda başarılı olur, ancak davranış önemli olduğunda başarısız olur. Sabit bir doğrusal politika, riskler arttıkça, insanların onu asla ödüllendirmediği durumlarda bile, görevin tamamlanmasını giderek daha fazla desteklemektedir. Öğrenilmiş bir politika bunun yerine çevresi tarafından ödüllendirilen ödünleşimlere yönelir; İnsanlar ödülleri sağladığında buna sosyalleşme diyoruz. Birikmiş deneyim, sonraki yalnızca görev eğitimi kapsamında sosyalleşmenin tersine çevrilmesini zorlaştırır; ancak ihlaller, hakim eğilim değişmeden önce ortaya çıkabilir ve sınırlı hafıza bu korumayı zayıflatır. Tek bir ihlal, bir konuşlandırmayı sona erdirebildiğinde, katı bir yasaklama bunu engelleyebilir, ancak hatalı bir yasaklama da maliyetli olabilir. Küçük sinir ağlarıyla yapılan deneyler, eğitim hedeflerinin ve hafızanın bu sonuçları nasıl şekillendirdiğini göstermektedir. Sonuçlarımız, uyumun yalnızca temsilcilere atanan hedeflere değil aynı zamanda onların davranışlarını şekillendiren ve sürdüren ortamlara da bağlı olduğunu göstermektedir.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Artificial intelligence (AI) agents are expected to complete tasks while following rules of conduct, but these objectives can conflict. We study how evolutionary selection shapes an agent's choices between them, and whether experience can make those choices reflect human judgments and withstand subsequent pressures. In our model, copies of an agent face a common uncertain reward state, and only those taking the rewarded action reproduce. We show that long-run growth is maximized when each action is taken as often as the environment rewards it. We compare three policies. A task-only policy thrives in a sandbox rewarding completion alone but fails when conduct matters. A fixed linear policy increasingly favors task completion as its stakes rise, even where humans never reward it. A learned policy instead converges to the tradeoffs rewarded by its environment; when humans supply the rewards, we call this socialization. Accumulated experience makes socialization harder to reverse under subsequent task-only training, although violations can arise before the prevailing disposition changes, and finite memory weakens this protection. When a single violation can end a deployment, a hard prohibition can prevent it, but a mistaken prohibition can also be costly. Experiments with small neural networks illustrate how training targets and memory shape these outcomes. Our results suggest that alignment depends not only on the objectives assigned to agents, but also on the environments that shape and sustain their behavior.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{brennan2026alignment,
title = {Alignment by Socialization: Learning Tradeoffs Under Selection},
author = {Thomas Brennan and Andrew W. Lo and Chaoyi Zhao},
journal = {arXiv preprint arXiv:2611.18531},
year = {2026},
url = {https://arxiv.org/abs/2611.18531}
}
Brennan, T., Lo, A. W., & Zhao, C. (2026). Sosyalleşme Yoluyla Uyum: Seçim Altındaki Ödün Vermeleri Öğrenmek. arXiv. https://arxiv.org/abs/2611.18531
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın