Veri Sızıntısı (Data Leakage) Nedir?

Bir araştırma makalesi düşünün. Araştırmacılar geliştirdikleri makine öğrenmesi modelinin %99 doğruluk elde ettiğini açıklıyor. Sonuçlar etkileyici görünüyor. Model rakip yöntemleri geride bırakıyor ve çalışma kısa sürede dikkat çekiyor. Ancak birkaç ay sonra aynı model gerçek dünyada kullanılmaya başlandığında beklenmedik bir durum ortaya çıkıyor. Eğitim sırasında %99 doğruluk elde eden model, gerçek veriler üzerinde yalnızca %60 doğruluk gösterebiliyor.

Peki aradaki fark nereden kaynaklanıyor? Model gerçekten bu kadar iyi değil miydi?

Çoğu zaman cevabı tek bir kavram açıklıyor: Veri Sızıntısı (Data Leakage).

Veri sızıntısı, makine öğrenmesi projelerinde en sık karşılaşılan ancak fark edilmesi en zor hatalardan biridir. Birçok araştırmacı ve veri bilimci model performansını artırmaya odaklanırken, veri sızıntısı fark edilmeden tüm sonuçları yanıltabilir. Hatta bazı durumlarda modelin başarısının büyük bölümü veri sızıntısından kaynaklanabilir.

Bu yazıda veri sızıntısının ne olduğu, nasıl oluştuğu, neden tehlikeli olduğu ve veri sızıntısını önlemek için hangi yöntemlerin kullanılması gerektiği incelenecek.

Veri Sızıntısı (Data Leakage) Nedir?

Veri sızıntısı; modelin, eğitim sürecinde aslında erişmemesi gereken bilgilere ulaşması durumudur.

Makine öğrenmesinin temel amacı, geçmiş verilerden öğrenerek daha önce görmediği örnekler üzerinde doğru tahminler yapabilmektir. Ancak veri sızıntısı oluştuğunda model geleceğe ait bilgileri, test verilerini veya hedef değişkenle doğrudan ilişkili bilgileri eğitim sırasında kullanabilir. Bu durumda model gerçek örüntüleri öğrenmek yerine kısa yollar bulur.

Bir öğrencinin sınavdan önce cevap anahtarını görmesi nasıl gerçek bilgi seviyesini yansıtmıyorsa, veri sızıntısı içeren modellerin yüksek doğruluk oranları da gerçek performansı yansıtmaz. Bu örnekten anlaşılacağı gibi model araştırma aşamasında mükemmel görünür ancak gerçek kullanım ortamında başarısız olur.

Veri Sızıntısı Neden Tehlikelidir?

Veri sızıntısının en büyük tehlikesi, araştırmacıya yanlış bir başarı hissi vermesidir. Model gerçekte öğrenmediği halde çok başarılı görünür. Bu durum özellikle sağlık, finans, savunma ve otonom sistemler gibi kritik alanlarda ciddi problemlere yol açabilir.

Örneğin bir hastanede geliştirilen yapay zeka sistemi kanser teşhisinde %98 doğruluk gösteriyor olabilir. Eğer bu sonuç veri sızıntısından kaynaklanıyorsa, sistem gerçek hastalar üzerinde kullanıldığında ciddi teşhis hataları yapabilir. Benzer şekilde bir bankanın kredi risk modeli veri sızıntısı nedeniyle olduğundan daha başarılı görünüyorsa, yanlış kredi kararları verilmesi kaçınılmaz hale gelir. Bu nedenle günümüzde birçok akademik dergi ve konferans, çalışmaların veri sızıntısı açısından dikkatli şekilde değerlendirilmesini istemektedir.

Makine Öğrenmesinde Veri Sızıntısı Nasıl Oluşur?

Veri sızıntısı farklı şekillerde ortaya çıkabilir. Ancak uygulamada en sık karşılaşılan dört temel tür bulunmaktadır.

1. Eğitim ve Test Verilerinin Karışması

En yaygın veri sızıntısı türüdür. Makine öğrenmesi projelerinde veri seti genellikle eğitim, doğrulama ve test olmak üzere üç parçaya ayrılır.

Amaç, modelin daha önce görmediği veriler üzerinde performansını ölçmektir. Ancak baz durumlarda aynı kişiye, ürüne veya olaya ait kayıtlar hem eğitim hem de test setine düşebilir. Örneğin bir MRI veri setinde aynı hastaya ait görüntülerin bir kısmı eğitim setine, diğer kısmı test setine yerleştirilirse model hastalığı öğrenmek yerine hastayı tanıyabilir. Bu durumda test başarısı yapay olarak yükselir. Model gerçek dünyada karşılaşacağı yeni hastalar üzerinde aynı performansı gösteremez.

2. Veri Ön İşleme Kaynaklı Veri Sızıntısı

Birçok veri bilimi projesinde veriler normalize edilir veya standardize edilir. Buradaki kritik hata, tüm veri setine aynı anda işlem uygulanmasıdır. Örneğin, önce tüm veri seti normalize edilir. Daha sonra eğitim ve test ayrımı yapılır. Bu yaklaşım yanlış sonuç üretir çünkü test verisinin istatistikleri eğitim aşamasına sızmıştır.

Doğru yöntem şudur:

• • • Önce eğitim ve test ayrılır.
    • Normalizasyon yalnızca eğitim verisinde öğrenilir.
    • Aynı dönüşüm test verisine uygulanır.

Scikit-Learn Pipeline yapılarının kullanılmasının temel nedenlerinden biri de bu tür veri sızıntılarını önlemektir.

3. Özellik Seçiminde Veri Sızıntısı

Özellik seçimi (feature selection) veri biliminin en önemli aşamalarından biridir. Ancak yanlış uygulandığında ciddi veri sızıntısı oluşturabilir.

Örneğin araştırmacı tüm veri seti üzerinde korelasyon analizi yaparak en iyi 20 değişkeni seçiyor olsun. Ardından eğitim ve test ayrımı gerçekleştiriliyor. Burada test verisindeki bilgiler değişken seçim sürecine dahil olduğu için model aslında test setinden bilgi almış oluyor. Bu nedenle özellik seçimi yalnızca eğitim verisi üzerinde gerçekleştirilmelidir.

4. Zaman Serilerinde Veri Sızıntısı

Zaman serisi problemlerinde veri sızıntısı çok daha kritik hale gelir.

Örneğin 2025 yılındaki satışları tahmin etmeye çalışan bir model düşünelim. Model oluşturulurken 2026 yılına ait bilgiler yanlışlıkla veri setine eklenirse model geleceği görmüş olur.

Bu durum özellikle:

• • • Finansal tahminlerde
    • Borsa analizlerinde
    • Talep tahminlerinde
    • Enerji tüketim tahminlerinde

sık karşılaşılan bir problemdir.

Zaman serilerinde eğitim verileri her zaman geçmiş dönemlerden, test verileri ise gelecekteki dönemlerden oluşmalıdır.

Sağlık Alanında Veri Sızıntısı

Son yıllarda veri sızıntısının en sık tartışıldığı alanlardan biri sağlık sektörüdür. Özellikle radyoloji ve tıbbi görüntü işleme çalışmalarında bu problem oldukça yaygındır. Birçok çalışmada aynı hastaya ait yüzlerce görüntü bulunmaktadır. Araştırmacılar görüntü bazında rastgele veri bölmesi yaptığında aynı hastanın farklı görüntüleri hem eğitim hem de test setinde yer alabilir. Bu durumda model tümörleri veya hastalıkları öğrenmek yerine hastaya özgü özellikleri öğrenir.

Literatürde yüksek doğruluk raporlayan bazı çalışmaların tekrar analiz edildiğinde performanslarının önemli ölçüde düştüğü görülmüştür. Bu nedenle günümüzde birçok sağlık yapay zekası çalışmasında hasta bazlı veri ayrımı zorunlu hale gelmiştir.

Veri Sızıntısı Nasıl Tespit Edilir?

Veri sızıntısını tespit etmek her zaman kolay değildir. Ancak bazı belirtiler araştırmacıları şüphelendirmelidir.

Örneğin:

• Test doğruluğunun olağan dışı yüksek olması
• Eğitim ve test başarısının neredeyse aynı olması
• Basit modellerin bile aşırı yüksek performans göstermesi
• Gerçek dünyadaki performansın hızla düşmesi
• Özellik önem analizlerinde mantıksız sonuçlar görülmesi

Bu tür durumlarda veri işleme süreci detaylı şekilde yeniden incelenmelidir.

Veri Sızıntısını Önlemek İçin En İyi Uygulamalar

Başarılı bir makine öğrenmesi projesi geliştirmek için aşağıdaki kurallara dikkat edilmelidir.

• Veriyi En Başta Bölün: Eğitim ve test verileri proje başlangıcında ayrılmalıdır.
• Pipeline Kullanın :Ölçekleme, kodlama ve dönüşüm işlemlerini Pipeline yapıları içerisinde gerçekleştirin.
• Özellik Seçimini Eğitim Verisinde Yapın: Feature selection işlemleri test verisini görmemelidir.
• Zaman Sırasını Koruyun: Zaman serilerinde geleceğe ait bilgiler geçmişe karıştırılmamalıdır.
• Veri Kaynağını İnceleyin: Aynı kişiye veya aynı nesneye ait kayıtların farklı veri setlerine düşmediğinden emin olun.
• Çapraz Doğrulama Uygulayın: K-Fold Cross Validation gibi yöntemlerle model performansını farklı veri bölmeleri üzerinde test edin.

Sonuç

Veri sızıntısı, yapay zeka ve makine öğrenmesi projelerinde karşılaşılan en kritik problemlerden biridir. Model performansını yapay olarak yükseltir, araştırmacıları yanıltır ve gerçek dünya uygulamalarında başarısız sonuçlara yol açar. Bu nedenle yüksek doğruluk oranları her zaman başarılı bir model anlamına gelmez.

Bir modelin %99 doğruluk elde etmiş olması etkileyici görünebilir. Ancak asıl soru şudur: Model gerçekten öğreniyor mu, yoksa cevabı önceden biliyor mu?

Makine öğrenmesinde gerçek başarı yüksek doğruluk değil, daha önce görülmemiş veriler üzerinde güvenilir sonuçlar üretebilmektir. Veri sızıntısını önlemek ise bu güvenilirliği sağlamanın ilk şartlarından biridir.