Büyük Dil Modellerinde Matematiksel Genelleştirmeye Yönelik Füzyon Eğitimi

Özetle: Düşünme Modu Füzyonu (TMF), düşünmeyen modu ve düşünme modunu tek bir modelde birleştirerek büyük dil modellerinin hem kısa yanıtları hem de uzun biçimli akıl yürütmeyi desteklemesini sağlar.

Özet

Düşünme Modu Füzyonu (TMF), düşünmeyen modu ve düşünme modunu tek bir modelde birleştirerek büyük dil modellerinin hem kısa yanıtları hem de uzun biçimli akıl yürütmeyi desteklemesini sağlar. Ancak, iki mod arasındaki emph{veri oranı} ve emph{eğitim programı} da dahil olmak üzere eğitim dinamikleri yeterince araştırılmamıştır. Bu çalışmada, eğitim programının ve düşünme ve düşünmeme modları arasındaki veri oranının etkilerini analiz ederek TMF'nin sistematik bir çalışmasını sunuyoruz. Matematiksel problem çözmeye odaklanarak, çoklu düşünme-düşünmeme veri oranları ve üç eğitim programı içeren bir kıyaslama oluşturuyoruz. Sonuçlarımız iki mod arasında asimetrik bir etkileşimi ortaya koyuyor: düşünmeyen denetim oranının artması, düşünme modunun doğruluğunu azaltıyor. Ayrıca farklı eğitim programlarının bu dengeyi değiştirdiğini ve en uygun programın veri oranına bağlı olduğunu gösterdik. Son olarak, düşünmeyen mod ile düşünme modu denetimi arasındaki negatif korelasyonu ölçerek, bu iki mod arasındaki doğal gerilimi vurguluyoruz. Bu bulgular, etkili TMF eğitim ortamlarının tasarlanması için pratik rehberlik sağlar. Tüm kod ve veriler daha fazla araştırmayı desteklemek için şu adreste yayınlanmıştır: href{https://github.com/caocongfeng/Fusion-Bench.git}{textbf{Fusion Bench}}.

Orijinal Özet (İngilizce)

Thinking Mode Fusion (TMF) enables large language models to support both concise responses and long-form reasoning by unifying a non-thinking mode and a thinking mode within a single model. However, its training dynamics, including the emph{data ratio} and emph{training schedule} between the two modes, remain underexplored. In this work, we present a systematic study of TMF by analyzing the effects of the training schedule and data ratio between thinking and non-thinking modes. Focusing on mathematical problem solving, we construct a benchmark with multiple thinking-to-non-thinking data ratios and three training schedules. Our results reveal an asymmetric interaction between the two modes: increasing the ratio of non-thinking supervision reduces the accuracy of the thinking mode. We further show that different training schedules modulate this trade-off and that the optimal schedule depends on the data ratio. Finally, we quantify a negative correlation between non-thinking and thinking mode supervision, highlighting an inherent tension between these two modes. These findings provide practical guidance for designing effective TMF training settings. All code and data are released to support further research at: href{https://github.com/caocongfeng/Fusion-Bench.git}{textbf{Fusion Bench}}.

Kaynak: arXiv:2608.09893 · PDF