Data drift-resilient inference: Maintaining model integrity via novel lightweight distribution correction

Makine öğrenmesi modelleri gerçek üretim ortamlarında giderek daha fazla kullanıldıkça, değişen veri koşulları altında güvenilirliklerini sağlamak kritik bir sorun haline geldi. Sık görülen bir sorun, çıkarım sırasında görülen verinin eğitimde kullanılan veriden farklılaştığı covariate shift'tir ve bu performans düşüşüne yol açabilir. Yeniden eğitim ya da test anı uyarlaması (TTA) gibi standart çözümler model parametrelerine veya etiketli veriye erişim gerektirir; bu da pratikte her zaman mümkün değildir. Şu an model erişimi ve etiket gerektirmeden çalışan hafif dağılım düzeltme yöntemlerinin kapsamlı bir karşılaştırması ile hem performansı hem verimliliği ölçen standart bir yöntem bulunmuyor.

Bu çalışmada üç hafif, modelden bağımsız düzeltme yöntemi sunuyoruz: Mean-Standard Deviation (Mean-Std), Quantile Mapping ve Cumulative Distribution Function (CDF) Matching. Bu yöntemler çıkarım sırasında bir ön işleme adımı olarak çalışır; yeni girdi verisini modeli değiştirmeden ve yeniden eğitim gerektirmeden referans dağılımla hizalar. 4 sınıflandırıcı ve 4 veri kümesinde 25 düzeltme yöntemini, toplam 3213 deneyle karşılaştırdık.

Mean-Std, F1 (0,736 ± 0,12) ve EWF1Δ (0,130) açısından birinci oldu; yalnızca 0,4 ms çalışma süresi ve 0,9 MB bellek kullandı ve en yakın rakibinden 150 kat daha hızlıydı. Dağılımın şekli değiştiğinde, özellikle Digits veri kümesinde, CDF Matching (EWF1Δ: 0,069) en iyi sonucu verdi. Quantile Mapping (EWF1Δ: 0,065) Weather veri kümesinde CDF Matching ile birlikte en iyisiydi. Sinir ağı tabanlı TTA yöntemleri (TENT, EATA, SAR) ve çıktı ayarlama yöntemleri (LAME, T3A) tablosal veride iyi çalışmadı; önerdiğimiz yöntemler ise tüm sınıflandırıcı ve veri kümelerinde sonuçları iyileştirdi.

Sonuçlar, basit istatistiksel hizalamanın çok daha az hesaplama gücüyle daha karmaşık dağılım düzeltme yöntemlerine denk ya da onlardan daha iyi olabildiğini gösteriyor. Bu da yöntemleri üretimdeki makine öğrenmesi sistemleri için pratik, tak-çalıştır çözümler haline getiriyor.