Doğal Dilden Tam Kapağa: Zebra Bulmacalarına Nöro-Sembolik Bir Yaklaşım

Özetle: Düşünce Zinciri (CoT) oluşturma, Büyük Dil Modellerinin (LLM'ler) kod oluşturma, veri analizi ve sınav tarzı soru yanıtlama dahil olmak üzere karmaşık akıl yürütme görevlerindeki performansını önemli ölçüde artırdı.

Özet

Düşünce Zinciri (CoT) oluşturma, Büyük Dil Modellerinin (LLM'ler) kod oluşturma, veri analizi ve sınav tarzı soru yanıtlama dahil olmak üzere karmaşık akıl yürütme görevlerindeki performansını önemli ölçüde artırdı. Bu ilerlemelere rağmen tamamen sinirsel yüksek lisanslar temel mantıksal akıl yürütme sorunlarıyla mücadele etmeye devam ediyor ve sembolik akıl yürütme sistemlerinin determinizm, sağlamlık ve güvenilirlik özelliklerinden yoksundur. Tersine, SAT çözme ve tam kapsam gibi klasik sembolik yöntemler doğruluğu ve bütünlüğü garanti eder, ancak problemlerin oldukça uzmanlaşmış biçimsel kodlamalarla ifade edilmesini gerektirir, bu da bunların doğal dil girdilerine uygulanabilirliğini sınırlar. Bu çalışmada, sinirsel anlamsal ayrıştırmayı deterministik tam kapsam akıl yürütmeyle birleştirerek bu boşluğu kapatan sinerjik bir nöro-sembolik çerçeve sunuyoruz. Doğal dilde Zebra tarzı bir mantık bulmacası verildiğinde, Yüksek Lisans, varlıkları ve kısıtlamaları tam bir kapak örneği oluşturan yapılandırılmış araç çağrılarına dönüştürür. Sembolik bir çözücü daha sonra çözümü hesaplar ve Zebra bulmacalarının benzersizlik özelliğinden yararlanarak geçersiz, yetersiz veya aşırı kısıtlı kodlamaları yinelemeli olarak iyileştirmek için geri bildirim sağlar. Çoklu parametre ölçekleri, eğitim sonrası paradigmalar ve Yüksek Lisans aileleri arasında kapsamlı bir ampirik değerlendirme yürütüyoruz. Sonuçlar, hibrit yaklaşımımızın, CoT yönlendirmesi ve son nöro-sembolik yöntemler de dahil olmak üzere güçlü düz sinir taban çizgilerinden sürekli olarak daha iyi performans gösterdiğini göstermektedir.

Orijinal Özet (İngilizce)

Chain-of-Thought (CoT) generation has substantially improved the performance of Large Language Models (LLMs) on complex reasoning tasks, including code generation, data analysis, and exam-style question answering. Despite these advances, purely neural LLMs continue to struggle with elementary logical reasoning problems and lack the determinism, soundness, and reliability characteristic of symbolic reasoning systems. Conversely, classical symbolic methods such as SAT solving and exact cover guarantee correctness and completeness, but require problems to be expressed in highly specialized formal encodings, limiting their applicability to natural language inputs. In this work, we present a synergistic neuro-symbolic framework that bridges this gap by combining neural semantic parsing with deterministic exact cover reasoning. Given a Zebra-style logic puzzle in natural language, an LLM translates entities and constraints into structured tool calls that construct an exact cover instance. A symbolic solver then computes the solution and provides feedback to iteratively refine invalid, under- or overconstrained encodings, exploiting the uniqueness property of Zebra puzzles. We conduct a comprehensive empirical evaluation across multiple parameter scales, post-training paradigms, and LLM families. The results demonstrate that our hybrid approach consistently outperforms strong plain neural baselines, including CoT prompting, as well as recent neuro-symbolic methods.

Kaynak: arXiv:2611.03641 · PDF