Bağlam İçi Öğrenmeye Yönelik Bir Devre

Özetle: Bağlam içi öğrenme (ICL), önceden eğitilmiş bir dil modelinin, istemindeki gösterimlerle belirtilen bir görevi hiçbir parametre güncellemesi olmadan gerçekleştirmesine olanak tanır.

Özet

Bağlam içi öğrenme (ICL), önceden eğitilmiş bir dil modelinin, istemindeki gösterimlerle belirtilen bir görevi hiçbir parametre güncellemesi olmadan gerçekleştirmesine olanak tanır. Rastgele etiketlerle modelin ezberleyemeyeceği bir eşleme elde etmesi gerekir, böylece öğrenme tek bir ileri geçişte gerçekleşir. Önceki çalışmalarda aday parçalar bulundu ancak bunların nasıl oluşturulduğu bulunamadı. Üç adet 3-4B parametreli transformatörde rastgele etiketlerle birkaç cümle sınıflandırması için kompozisyonu veriyoruz. Model, etiket-belirteç konumları üzerinde bir anahtar-değer hafızası uygular: her etiket belirtecinin artık akışı, etiketin kimliğini kodlar ve orta katmandaki dikkat kafaları, buna anahtar olarak önceki gösterimin sınıfını yazar. Sorguda, üst katman başlıkları sorgunun sınıfını saklanan anahtarlarla eşleştirir ve eşleşen etiketleri kopyalar. Herhangi bir etiketin bu okumayı tekrarlayıp tekrarlamadığını kodlayan bir erken katman sinyali; yokluğunda okuyucular istemin başlangıcına katılırlar ve hiçbir etiket tercih edilmez. Ayrı bir kafa seti, en son görülen etiketi bastırır. Her adım, etkinleştirme yaması, rastgele kafa taban çizgilerine göre kafa ablasyonları ve modelin kendi sinyalleriyle yönlendirme yoluyla nedensel olarak oluşturulur. Her kafa için iki sabite sahip, bir anlık dağılıma uyan softmax okuma modeli, diğerini tahmin eder. Hesaplama üç modelde korunur, yalnızca adlandırılmış kafalar davranışı yeniden üretir ve sıfırdan eğitilmiş bir transformatör aynı parçaları büyütür. Devre anlamsal kavramlara ve anlamlı etiketlere aktarılır ve nedensel bir kapıyla aynı parçalar bir ailede 0,6B'den 8B'ye kadar görünür ve talimat ayarlamasından sonra hayatta kalır. Bu ortamda ICL, gösterilerden tahminlere kadar nedensel olarak izlenen, tanımlanabilir birkaç bileşen türünden oluşturulan, kapılı bir ilişkisel aramadır.

Orijinal Özet (İngilizce)

In-context learning (ICL) lets a pretrained language model perform a task specified by demonstrations in its prompt, with no parameter updates. With arbitrary labels the model must acquire a mapping it cannot have memorized, so the learning happens within a single forward pass. Prior work found candidate parts but not how they compose. We give the composition for few-shot sentence classification with arbitrary labels in three 3-4B-parameter transformers. The model implements a key-value memory over label-token positions: each label token's residual stream encodes the label's identity, and middle-layer attention heads write into it the class of the preceding demonstration as its key. At the query, upper-layer heads match the query's class against the stored keys and copy out the matching labels. An early-layer signal encoding whether any label has repeated gates this readout; in its absence the readers attend to the start of the prompt and no label is favored. A separate set of heads suppresses the most recently seen label. Each step is established causally by activation patching, head ablations against random-head baselines, and steering with the model's own signals. A softmax model of the readout with two constants per head, fit on one prompt distribution, predicts another. The computation is conserved across the three models, the named heads alone reproduce the behaviour, and a transformer trained from scratch grows the same parts. The circuit transfers to semantic concepts and to labels with meaning, and the same parts, with a causal gate, appear from 0.6B to 8B in one family and survive instruction tuning. ICL in this setting is a gated associative lookup built from a few identifiable component types, traced causally from demonstrations to prediction.

Kaynak: arXiv:2611.05344 · PDF