Dil Modellerinde Yanlış Hizalanmış Davranışları Kalıcı Bir Şekilde Bastırmak

Özetle: İstenmeyen model davranışlar eğitimin herhangi bir aşamasında ortaya çıkabilir veya yeniden ortaya çıkabilir.

Özet

İstenmeyen model davranışlar eğitimin herhangi bir aşamasında ortaya çıkabilir veya yeniden ortaya çıkabilir. Bir kez gözlemlendikten sonra onları ne kadar etkili bir şekilde bastırabiliriz? Bu soruyu incelemek için öncelikle davranışı tetikleyen şeyler açısından farklı olan iki model organizma (belirli bir yanlış hizalama sergilemek üzere kasıtlı olarak eğitilmiş dil modelleri) oluşturuyoruz. Dar tetiklemeli organizma, yalnızca ipucu belirli bir ipucu içerdiğinde yanlış davranır: Yanlış cevaba işaret eden yerleşik bir ipucunu takip ederek çoktan seçmeli sorularda hile yapar ve normal şekilde farklı davranır. Geniş tetikleyici organizmanın böyle bir ipucu yoktur: Güvenli olmayan kod üzerinde ince ayar yaptıktan sonra, çok çeşitli açık uçlu istemler üzerinden zararlı yanıtlar verir. Daha sonra post-hoc davranışsal baskılamayı resmileştiriyoruz ve yöntemleri üç kritere göre değerlendiriyoruz: hedef davranışın anında bastırılması, ileri eğitim altında dayanıklılık ve genel yeteneğin korunması. Bu boyutlar boyunca standart yöntemleri (SFT, GRPO ve gradyan tırmanışlı öğrenmeyi) karşılaştırıyoruz. Hizalama sığlığı üzerine yapılan önceki çalışmalara dayanarak, daha dayanıklı bastırmanın daha geniş yelpazedeki hizasızlık durumlarından kurtulma yeteneği gerektirdiğini varsayıyoruz. Önekle Genişletilmiş Çekişmeli Güçlendirme Öğrenimini (PEARL), önbelleğe alınmış organizma yörüngeleri boyunca örneklenen ara durumlardan devamlarla kullanıma sunmaları artıran bir GRPO çeşidini tanıtıyoruz. Hem organizma ortamlarında hem de iki model ailesinde (Qwen3-4B, GPT-OSS-20B), PEARL, görev doğruluğunu korurken güçlü bir anında bastırma elde eder ve organizmanın verileri veya ilgisiz veriler üzerinde daha fazla ince ayar yapılması durumunda dayanıklı kalır. İstenmeyen davranışın geniş olduğu ve hedeflenen SFT yoluyla ele alınamadığı durumlarda en büyük faydayı elde eder. Çerçevemiz ve yöntemimiz birlikte, istenmeyen davranışların geçici olarak daha kalıcı bir şekilde ortadan kaldırılmasına yönelik bir adım sunuyor.

Orijinal Özet (İngilizce)

Undesired model behaviors can emerge or re-emerge at any stage of training. Once observed, how effectively can we suppress them? To study this question, we first construct two model organisms–language models deliberately trained to exhibit a specific misalignment–that differ in what triggers the behavior. The narrow-trigger organism misbehaves only when the prompt contains a specific cue: it cheats on multiple-choice questions by following a planted hint that points to a wrong answer, and behaves normally otherwise. The broad-trigger organism has no such cue: after fine-tuning on insecure code, it gives harmful responses across a wide range of open-ended prompts. We then formalize post-hoc behavioral suppression and evaluate methods along three criteria: immediate suppression of the target behavior, durability under further training, and preservation of general capability. We compare standard methods–SFT, GRPO, and gradient-ascent unlearning–along these dimensions. Building on prior work on alignment shallowness, we hypothesize that more durable suppression requires the ability to recover from a wider range of misalignment states. We introduce Prefix-Expanded Adversarial Reinforcement Learning (PEARL), a GRPO variant that augments rollouts with continuations from intermediate states sampled along cached organism trajectories. Across both organism settings and two model families (Qwen3-4B, GPT-OSS-20B), PEARL achieves strong immediate suppression while preserving task accuracy, and remains durable under further fine-tuning on either the organism's data or unrelated data. It obtains the greatest benefit when the undesirable behavior is broad and cannot be addressed through targeted SFT. Together, our framework and method offer a step toward more durable post-hoc removal of undesired behaviors.

Kaynak: arXiv:2611.05358 · PDF