Şema açıklama katmanı
Kriptik kolonlar ve kodlu değerler (ör. 1=Müşteri, 2=Tedarikçi) taranır, size önerilir, onayınızla modele öğretilir. Eski nesil şemalarda doğruluğun ana taşıyıcısı budur.
DOĞRULUK VE METODOLOJİ
Doğruluğu iddia etmiyoruz, ölçüyoruz.
Üretilen bir sorgu 'çalıştı' diye doğru sayılmaz. Testlerimiz sorgunun döndürdüğü veriyi referans cevapla karşılaştırır — hatasız çalışan ama yanlış cevap veren sorgu, başarısız sayılır.
%94
Sonuç doğruluğu
Dört veritabanı motorunda (PostgreSQL, SQL Server, MySQL, Oracle) yüzlerce gerçek soruda ölçüldü. Skor, SQL metni benzerliği değil, dönen verinin referans cevapla eşleşme oranıdır: sorgu hatasız çalışsa bile veri yanlışsa başarısız sayılır.
Nasıl ölçüyoruz?
Farklı iş alanlarından (satış, sağlık, üretim, eski nesil ERP) gerçekçi şemalar üzerinde yüzlerce Türkçe soru içeren bir test seti kullanıyoruz; dört veritabanı motorunda koşuyoruz. Setin bir bölümü bilerek kriptik, açıklamasız 'kötü' şemalardan oluşur — gerçek dünya böyle çünkü.
- 01Her soru için PerSight'ın üretim hattı bir SQL sorgusu üretir — test için özel bir kestirme yolu yoktur.
- 02Üretilen sorgu ve elle yazılmış referans sorgu, canlı test veritabanında ayrı ayrı çalıştırılır.
- 03İki sonucun döndürdüğü veri karşılaştırılır: satırlar ve değerler eşleşiyorsa soru geçer. Çalışan ama yanlış cevap veren sorgu başarısız sayılır.
- 04Bilerek cevaplanamaz sorular da sete dahildir: model uydurma bir sorgu üretmek yerine dürüstçe 'cevaplayamam' demelidir — uydurursa soru başarısız sayılır.
Yanlış sonuç problemine dört katman
Doğal dille sorgu araçlarının en sinsi hatası, hatasız çalışıp yanlış cevap döndüren sorgudur. Ana kaynağı dil anlama değil, şemanın yanlış yorumlanmasıdır. PerSight bu probleme dört katmanla yaklaşır:
İlişki disiplini
Tablolar yalnızca şemada tanımlı ilişkiler üzerinden birleştirilir; isim benzerliğine dayalı tahmini birleştirmeler kurallarla engellenir.
Kendini onaran sorgu
Çalışma anında hata veren sorgu, hata mesajıyla birlikte modele geri götürülür ve bir kez onarılır — çoğu geçici hata kullanıcıya hiç yansımaz.
Dürüst red
Soru, şemanızdaki verilerle cevaplanamıyorsa PerSight makul görünen bir sorgu uydurmak yerine neyin eksik olduğunu söyler. Yanlış cevaptan iyisi, dürüst bir 'cevaplayamam'dır.
Dürüst bir not
Bu skor kendi test setimizde ölçülmüştür; bağımsız bir kıyaslama değildir. Gerçek doğruluk şemanızın kalitesine ve açıklama katmanını kullanımınıza göre değişir. Metodolojiyi ve test setini incelemek isteyen kurumsal ekiplerle memnuniyetle paylaşırız.
Sık sorulanlar
Yüzde 94 tam olarak ne anlama geliyor?
Üretilen sorguların yüzde 94 kadarı, referans cevapla birebir aynı veriyi döndürdü. Ölçüt sonuç eşleşmesidir: sorgu hatasız çalışsa bile veri yanlışsa soru başarısız sayılır.
Neden yüzde 100 değil?
Kalan sorular çoğunlukla en karmaşık analitik senaryolarda ve bilerek kriptik bıraktığımız şemalarda düşüyor. Ölçütümüz sert: çalışan ama yanlış veri döndüren her sorgu başarısızdır. Skoru şişirmek yerine seti zorlaştırarak ilerlemeyi ölçüyoruz.
Benim şemamda da bu oran tutar mı?
Şemanızın kalitesine bağlıdır. Açıklayıcı tablo ve kolon adları olan şemalarda oran test skorumuzun üzerine çıkabilir; kriptik şemalarda açıklama katmanını onayladıkça belirgin şekilde artar. Testte her iki tip şemayı da ölçüyoruz.
Yanlış bir sonucu nasıl fark ederim?
Üretilen SQL her zaman ekranda görünür ve Türkçe açıklanır; çalıştırmadan önce düzenleyip onaylayabilirsiniz. Soru şemanızla cevaplanamıyorsa PerSight sorgu uydurmak yerine bunu açıkça söyler. Tüm sorgular salt-okunurdur — yanlış bir sorgu bile verinize dokunamaz.
Kendi verinizde deneyin
En iyi test sizin şemanız. Beta sırasına katılın, ilk sorunuzu kendi veritabanınızda sorun.