Nedenini Okumak: Işık ve Kübitler Hakkında Kesin Sözcük Kanıtlarıyla Doğuştan Ölçülen Dikkat

Özetle: Bir dil modeli yanıt verdiğinde genellikle yalnızca nedenini tahmin edebiliriz.

Özet

Bir dil modeli yanıt verdiğinde genellikle yalnızca nedenini tahmin edebiliriz. Her adımın bir Born ölçümü olduğu bir transformatör inşa ediyoruz – dikkat $|langle q|krangle|^4$ her satırda normalleştirilmiş, ileri beslemeli doğrusal olmama yerine ölçülen bir çarpım ve bir Born okuması. Paydaları girdi değerlerinde tutulduğunda, her sınıf olasılığı kelime genliklerinde bir polinomdur, dolayısıyla entegre gradyan kanıtı, kareleme hatası olmayan sonlu bir kareleme ile hesaplanır: kelimelerin katkıları, bilgi içermeyen payının üzerindeki sınıf olasılığının toplamına göre 10^{-11}$ veya daha iyidir. E-SNLI doğal dil çıkarımında, yerleştirme dışında yaklaşık 98 bin parametreyle model, aynı boyuttaki bir softmax transformatörüyle aynı seviyeye (76,62 $ pm %0,36$) ulaşarak 76,98 $ pm %0,17$ test doğruluğuna ulaşır. Kanıt sıralamasındaki kelimenin silinmesi ilk önce test çiftlerinin %45'inde cevabı değiştirir; herhangi bir tek silme işlemi değişebilir; softmax modeli için bu oran %32'dir ve dikkat x gradyanı ile %40'tır. Dikkat, açıklama yapanların vurguladığı kelimelere daha çok benzeyebilir, ancak cevabı daha az iyi açıklar: İlk sıradaki kelimeyi silmek, Born Transformer'ın cevabını çiftlerin %32'sinde değiştirir. Aynı ağırlıklar tam olarak optoelektronik optiklere ve kübitlere derlenir ve tutarlı bir dikkat katmanı, modele eşit bir devre haline gelir (23 kübit üzerinde 852 CNOT). IBM'in ibm_kingston'unda, yalnızca Hadamard testlerinin dikkat çakışmalarını okuyan cihaz, modelin yanıtlarını iki kısa test çifti üzerinde verdi ve modelin yaptığı gibi bunları silme altında tuttu veya değiştirdi; Kanıtın kendisi henüz cihazda hayatta kalamadı ve biz onu donanımda ölçmenin ihtiyaç duyacağı çekimleri ve kalibrasyonu yapıyoruz.

Orijinal Özet (İngilizce)

When a language model answers, we can usually only estimate why. We build a transformer in which every step is a Born measurement – attention $|langle q|krangle|^4$ normalised over each row, a measured product in place of the feed-forward nonlinearity, and a Born readout. With its denominators held at their values for the input, each class probability is a polynomial in the word amplitudes, so its integrated-gradient evidence is computed by a finite quadrature with no quadrature error: the words' contributions sum to the class probability above its no-information share, to $10^{-11}$ or better. On e-SNLI natural language inference, with about 98k parameters outside the embedding, the model reaches $76.98 pm 0.17$% test accuracy, level with a softmax transformer of the same size ($76.62 pm 0.36$%). Deleting the word its evidence ranks first changes the answer in 45% of test pairs, out of the 53% any single deletion can change, against 32% for the softmax model explained the same way and 40% by its attention x gradient. Attention can look more like the words annotators highlighted, yet accounts for the answer less well: deleting the word it ranks first changes the Born Transformer's answer in 32% of pairs. The same weights compile exactly to optoelectronic optics and to qubits, and a coherent attention layer becomes one circuit equal to the model (852 CNOTs on 23 qubits). On IBM's ibm_kingston, reading only the attention overlaps by Hadamard tests, the device gave the model's answers on two short test pairs and kept or changed them under deletion as the model does; the evidence itself did not yet survive the device, and we work out the shots and calibration that measuring it on hardware would need.

Kaynak: arXiv:2611.05355 · PDF