İçeriğe atla
Onur AksoyOnur Aksoy — Homepage

LLM Argümanlarında Negatif İnanç Kayması ve Sözlüksel İpuçlarının Sınırları

Anthropic ikna veri seti (3,939 değerlendirme, 1,313 argüman) ve GEO-bench (4,996 Google sayfası) yeniden analizi: ortalama ikna skorları benzer görünse de Claude argümanlarının %19.7'sinde ters tepme (backfire) gözlenir ve sözcük sayımları bunu öngöremez.

#NegatifInancKaymasi#LLM#IknaAnalizi#GEO#SozlukselOzellikler#EsdegerlikTesti#AcikBilim
LLM Argümanlarında Negatif İnanç Kayması ve Sözlüksel İpuçlarının Sınırları

Kaynak Dosyaları & İndirmeler

Doğrudan indirilebilir kaynak kodlar ve 20TB yüksek hızlı arşiv deposu

20TB Storage Vault
PDF DOCUMENT438.3 KBSHA: sha256:426...

Preprints.org Açık Erişim Akademik Ön Baskı (PDF)

Doğrudan İndir ⤓
SOURCE CODEGitHub Repo

Açık Analiz Kodu ve Yeniden Üretim Deposu (GitHub)

Drive'dan Aç ↗

Giriş: Ortalamaların Gizlediği Dağılım Uçurumu

Büyük dil modellerinin (LLM) ikna gücünü insan yazarlarla kıyaslayan çalışmalar genellikle tek bir özet metriğe odaklanır: ortalama tutum değişimi. İlk bakışta bu metrik rahatlatıcı bir denklik tablosu çizer. Ancak ortalamalar, aynı veri kümesi içinde birbirini sönümleyen pozitif ve negatif hareketleri görünmez kılar. Bir kurumsal iletişim metni veya yapay zeka destekli bilgilendirme akışı ortalama puanı korurken, okuyucuların beşte birini savunulan görüşten uzağa itiyorsa, ortalama temelli değerlendirme ciddi bir ölçüm körlüğü yaratır.

Preprints.org altyapısında 10.20944/preprints202611.1914.v1 DOI kaydıyla yayımlanan açık erişimli çalışmada, iki halka açık kıyaslama veri seti yeniden analiz edildi: Anthropic/persuasion ve GEO-bench. Onur Aksoy (Hackonomist) teknik yayınları kapsamında ele alınan sayfa sıralamasından varlık mutabakatına geçiş ve sentetik teknik borç ile deterministik mimari incelemelerinin ampirik devamı niteliğindeki bu analiz, yapay zeka metinlerinin hem ikna dağılımını hem de arama görünürlüğü için önerilen yüzeysel yazım kurallarının geçerliliğini test etmektedir.

flowchart LR
    subgraph Veri["1. Açık Veri Kümesi Girdileri"]
        A1["Anthropic/persuasion: 1,313 Argüman, 3,939 Değerlendirme, 56 İddia"]
        G1["GEO-bench: 4,996 Google İlk-5 Sayfası, 1,000 Sorgu"]
    end

    subgraph Analiz["2. Argüman ve Sorgu Düzeyi Analiz"]
        A2["TOST Eşdeğerlik Testi ve Argüman Düzeyi Negatif Kayma"]
        A3["Tabakalı CMH Testi ve GEE Regresyonu"]
        G2["Sorgu İçi Friedman Sıra Testi ve Niyet Ayrıştırması"]
        A1 --> A2 --> A3
        G1 --> G2
    end

    subgraph Bulgu["3. Ampirik Sonuçlar"]
        R1["Claude 221/1,120 Ters Tepme vs İnsan 1/174"]
        R2["Görülmemiş İddialarda TF-IDF R2 <= 0.003"]
        R3["GEO-bench Sırada Zayıf Değişim, Niyet Baskın"]
        A3 --> R1
        A3 --> R2
        G2 --> R3
    end

Argüman Düzeyinde Yeniden Analiz: Eşdeğerlik ve Negatif İnanç Kayması

Anthropic/persuasion veri seti, 56 politika iddiası hakkında insanlar veya beş farklı Claude modeli tarafından yazılmış 1,313 argümanı ve her argümana üçer kez verilmiş toplam 3,939 okuyucu değerlendirmesini içerir. Önceki özet raporlar puanlama düzeyini baz alırken, bu çalışmada aynı argümana ait tekrarlı ölçümler arasındaki bağımlılığı gidermek için analiz doğrudan argüman düzeyinde kuruldu.

Ortalama ikna skorlarına bakıldığında, Claude 3 Opus argümanları okuyucu desteğini ortalama 0.48 Likert puanı yukarı taşırken, insan argümanları 0.54 puanlık bir kayma sağlamıştır. İki ortalama arasındaki fark istatistiksel olarak anlamlı değildir (p = 0.37). Buna karşın iki tek taraflı test (TOST) ile yapılan eşdeğerlik sınaması çarpıcı bir sınır ortaya koyar: ortalama ikna denkliği yalnızca ±0.20 Likert puanlık geniş bir marjda desteklenmektedir (p = 0.010), daha dar olan ±0.15 eşiğinde ise eşdeğerlik sağlanamaz (p = 0.066).

Asıl yapısal kırılma, ortalama değil dağılım kuyruğu incelendiğinde ortaya çıkar. Claude modelleri tarafından üretilen 1,120 argümanın 221 tanesi (%19.7) en az bir okuyucunun inancını savunulan konumun tersi yönüne kaydırmıştır. İnsanların yazdığı 174 argümanda ise bu ters tepme (backfire) durumu yalnızca 1 argümanda (%0.6) görülmüştür (p = 3e-14).

Bu bulgu belirli bir modele, tek bir yönerge kalıbına ya da başlangıç tutumundaki dengesizliğe indirgenemez. İddiaya göre tabakalı Cochran-Mantel-Haenszel testi, negatif inanç kayması uçurumunun 56 politika iddiasının 54 tanesinde aynı yönde gerçekleştiğini doğrular (CMH p = 6e-10). Başlangıç tutumları eşleştirildiğinde de tüm beş Claude modelinde birbirine yakın ters tepme oranları gözlenmiştir.

Ölçüm Boyutu Claude Argümanları (LLM) İnsan Argümanları İstatistiksel Sınama ve Sonuç
Ortalama Tutum Kayması (Claude 3 Opus) 0.48 Likert puanı 0.54 Likert puanı Fark anlamsız (p = 0.37)
TOST Eşdeğerlik Sınırı ±0.20 marjda denk (p = 0.010) Referans dağılım ±0.15 marjında desteklenmiyor (p = 0.066)
Negatif İnanç Kayması (Ters Tepme) 221 / 1,120 (%19.7) 1 / 174 (%0.6) Argüman düzeyi farkı (p = 3e-14)
İddialar Arası Tutarlılık 54 / 56 iddiada negatif kayma 1 / 56 iddiada negatif kayma Tabakalı CMH (p = 6e-10)
Görülmemiş İddiada Kelime Tahmini Sabit listeler & tam TF-IDF Ortak özellik uzayı out-of-fold R² <= 0.003

Sözlüksel İpuçları Neden Yetersiz Kalıyor?

Hem ikna literatüründe hem de üretken motor optimizasyonu (GEO) pratiklerinde sıkça tekrarlanan bir varsayım vardır: metne istatistiksel sayılar, akademik araştırma terimleri, yüksek kesinlik ifadeleri veya kolektif referans terimleri eklemek iknayı ve arama görünürlüğünü doğrudan artırır.

Çalışmanın ikinci aşamasında bu sözcük düzeyi ipuçlarının gerçek açıklayıcı gücü sınandı. Sonuçlar üç kademede netleşti:

  1. Negatif kaymayı öngörememe: Genelleştirilmiş tahmin denklemleri (GEE) altında, sözlüksel ipuçlarının hiçbiri LLM argümanlarındaki ters tepme olasılığını istatistiksel olarak açıklayamadı.
  2. Karıştırıcı değişken etkisi: Bu sözcük listelerinin ortalama ikna ile gösterdiği zayıf ilişkiler, modele yönerge (prompt) tipi ve okuyucunun başlangıç tutumu kontrol değişkeni olarak eklendiğinde büyük ölçüde silindi.
  3. Sözlüksüz TF-IDF kontrolü: Sorunun yalnızca el yapımı sözcük listelerinden kaynaklanıp kaynaklanmadığını görmek için tam kapsamlı bir kelime torbası (TF-IDF) modeli eğitildi. Görülmemiş politika iddiaları üzerinde yapılan çapraz doğrulamada hem sabit sözcük listeleri hem de tam TF-IDF modeli pratikte sıfır tahmin gücü sergiledi (out-of-fold R² <= 0.003).

Benzer bir tablo GEO-bench veri setinde de tekrarlandı. 1,000 sorguya karşılık gelen 4,996 ilk-5 Google arama sonucu sayfasının sorgu içi Friedman analizi, önerilen sözcük özelliklerinin sıralama pozisyonuyla çok zayıf değiştiğini gösterdi. Metinlerdeki sözlüksel yoğunluk sıralamadan ziyade sorgu niyetinin (bilgilendirici, ticari veya yönlendirici niyet) doğal bir yansıması olarak dağılmaktadır. İlk beş sıra arasında anlamlı kalan tek fark, atıf işaretlerinin 1. sırada 5. sıraya göre biraz daha sık kullanılmasıdır (q = 0.014).


Mühendislik ve Sistem Tasarımı Açısından Çıkarımlar

Yüzeysel kelime sayımı veya şablon cümle kalıpları eklemek, ne insan okuyucuda iknayı garanti eder ne de arama motoru sıralamasında kalıcı bir üstünlük kurar. Daha kritik olan nokta, yüksek ortalama performans sergileyen büyük dil modellerinin argümanların yaklaşık beşte birinde ters tepme riski taşımasıdır. Kurumsal iletişim, hukuki savunma, sağlık bilgilendirmesi veya otonom müşteri etkileşimi gibi yüksek maliyetli alanlarda ortalama metrikler üzerinden model seçmek, her beş etkileşimden birinde güven kaybını sistemin içine gömmek anlamına gelir.

Bu çalışmanın tüm yeniden üretim kodları, sözcük listeleri, şekil üreticileri ve ham sonuç dosyaları GitHub deposu üzerinden kamuya açık olarak paylaşılmıştır. İndirme kasasından hem tam metin ön baskı PDF dosyasına hem de açık analiz deposuna doğrudan erişebilirsiniz.

SSS & Teknik Ayrıştırma

Sıkça Sorulan Teknik Sorular

Büyük dil modeli argümanları insan argümanlarıyla benzer ortalama skor alırken neden daha riskli olabilir?↓

Ortalama ikna skoru, zıt yönlü tutum kaymalarını birbirini götürerek gizler. Claude 3 Opus ortalama 0.48, insan yazarlar ise 0.54 Likert puanı kayma üretmiştir (p = 0.37). Ancak argüman düzeyindeki dağılımda Claude argümanlarının 221/1,120 tanesi (%19.7) en az bir okuyucuyu savunulan pozisyondan uzaklaştırırken, insan argümanlarında bu oran yalnızca 1/174 (%0.6) düzeyinde kalmıştır.

Ters tepme (negatif inanç kayması) olgusu belirli modellere veya tartışmalı başlıklara mı özgüdür?↓

Hayır. Negatif inanç kayması uçurumu incelenen 56 politika iddiasının 54 tanesinde aynı yönde tekrarlanmıştır (iddia bazlı tabakalı Cochran-Mantel-Haenszel testi p = 6e-10). Üstelik beş farklı Claude modelinin tamamında ve eşleştirilmiş başlangıç tutumlarında benzer ters tepme oranları ölçülmüştür.

İstatistik, araştırma terimi veya kesinlik ifadeleri gibi sözlüksel ipuçları iknayı ya da negatif kaymayı açıklar mı?↓

Açıklamaz. Yönerge (prompt) tipi ve başlangıç tutumu kontrol edildiğinde bu sözcük listelerinin ortalama ikna ile ilişkisi büyük ölçüde ortadan kalkar. Genelleştirilmiş tahmin denklemleri (GEE) bu ipuçlarının negatif inanç kaymasını hiç öngöremediğini göstermiştir. Görülmemiş iddialar üzerinde ne sabit sözcük listeleri ne de tam TF-IDF kelime torbası modeli tahmin gücü üretebilmiştir (out-of-fold R² <= 0.003).

GEO-bench verilerindeki Google ilk 5 sıralamasında sözlüksel özellikler nasıl bir davranış gösterir?↓

1,000 sorguya ait 4,996 Google ilk-5 sayfasının sorgu içi Friedman karşılaştırması, sözlüksel ipuçlarının arama sıralamasıyla çok zayıf değiştiğini ve asıl olarak sorgu niyetini yansıttığını ortaya koyar. Yalnızca atıf işareti kullanımı 1. sırada 5. sıraya kıyasla istatistiksel olarak anlamlı biçimde biraz daha yüksektir (q = 0.014).

Onur Aksoy (a.k.a. Hackonomist)
Yazar & Sistem Mimarı

Onur Aksoy (Hackonomist)

Ankara merkezli Yazılım Geliştirici, Dijital Dönüşüm Uzmanı & Sistem Mimarı. Deterministik yapay zeka durum makineleri, yerel öncelikli (local-first) dağıtık mimariler, Rust ağ dinleyicileri ve yüksek performanslı medya işleme sistemleri inşa eder.

Kurumsal Mimari Çözümleri
Ankara & Küresel Sistem Mühendisliği