LLM Performans Analizi: Bağlam Uzunluğu vs Doğruluk
Bağlam penceresi büyüdükçe kurumsal soru-cevap doğruluğunun nasıl değiştiğini ölçen kontrollü deney serisi.
- +12% doğruluk artışı (8k → 32k bağlam)
- -4% 64k üzerinde doğruluk düşüşü gözlendi
İncele
- Problem
- Uzun kurumsal dokümanlarda modelin ortadaki bilgiyi kaçırması (lost-in-the-middle).
- Yöntem
- 7 bağlam uzunluğu kademesinde 1.200 soruluk Türkçe test seti ile A/B koşuları.
- Sonuç
- 32k bağlamda +12% doğruluk; 64k üzerinde getiri negatife dönüyor.
- Yorum
- Optimum pencere 32k; daha uzun içerik için parçalama + yeniden sıralama önerilir.