Derin öğrenme yöntemleri için doğrusal olmayan aktivasyon fonksiyonlarının geliştirilmesi
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Erciyes Üniversitesi, Fen Bilimleri Enstitüsü, BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2021
Tezin Dili: Türkçe
Öğrenci: SERHAT KILIÇARSLAN
Danışman: Mete Çelik
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Derin öğrenme modellerinin çalışma hızının arttırılması, yerel minimuma takılmaması, doğruluk performasının arttırılması gibi özellikleri göz önüne alınarak aktivasyon fonksiyonları geliştirilmektedir. ReLU, sigmoid ve tanjant aktivasyon fonksiyonlarının kaybolan gradyan ve negatif bölge gibi problemlerinden dolayı derin öğrenme mimarilerini eğitmek zordur. Bu tez çalışmasında, kaybolan gradyan ve negatif bölge problemlerinin üstesinden gelmek için yeni sabit parametreli RSigELU aktivasyon fonksiyonları, çekirdek tabanlı hibrit KAF+RSigELU aktivasyon fonksiyonları ve eğitilebilir parametreli P+RSigELU aktivasyon fonksiyonları önerilmiştir. Ayrıca, derin öğrenme modellerinde hiper-parametre değerleri optimize edilmeden kullanıldığında model başarı performansı çok düşük olmaktadır. Hiper-parametre optimizsayonu, derin öğrenme mimarilerinin, hesaplama maliyetlerinin düşürülmesini ve doğruluk performaslarının arttırılmasını sağlanmaktadır. Tez çalışmasında, derin öğrenme mimarilerinin hiper-parametrelerinin optimizasyonu için sezgisel yöntemler kullanılmıştır. Çeşitli veriler üzerine gerçekleştirilen deneysel değerlendirmede, hiper-parametre optimizasyonu yapılmıştır ve literatürde bilinen ReLU ve swish aktivasyon fonksiyonlu derin öğrenme mimarilerinin sınıflandırma başarısı değerlendirilmiştir. Önerilen sabit parametreli RSigELU, çekirdek tabanlı KAF+RSigELU ve eğitilebilir P+RSigELU aktivasyon fonksiyonları ile literatürdeki çalışmalara göre daha yüksek başarı elde edilmiştir. Ayrıca hiper-parametre optimizasyonu için kullanılan yöntemler ile derin öğrenme modellerinin başarımları arttırılmıştır.